[論文レビュー] Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation

Xiang Kong, Qizhe Xie+2 more|arXiv (Cornell University)|Sep 25, 2018

Topic Modeling参考文献 37被引用数 3

ひとこと要約

本稿では、系列生成におけるMixture of Softmaxes (MoS)のメモリおよび計算コストを削減するために、バイトペア符号化（BPE）とハイブリッド・ライトRNNを効率的な語彙符号化方式として提案する。BPEまたはハイブリッド・ライトRNNを用いたMoSは、性能に損なわれることなく時間とメモリ使用量を半減させ、機械翻訳および画像キャプションの分野で最先端の結果を達成した。具体的には、WMT 2014 英語→ドイツ語翻訳で29.6 BLEUを達成し、画像キャプションでCIDErスコアが0.76向上した。

ABSTRACT

Mixture of Softmaxes (MoS) has been shown to be effective at addressing the expressiveness limitation of Softmax-based models. Despite the known advantage, MoS is practically sealed by its large consumption of memory and computational time due to the need of computing multiple Softmaxes. In this work, we set out to unleash the power of MoS in practical applications by investigating improved word coding schemes, which could effectively reduce the vocabulary size and hence relieve the memory and computation burden. We show both BPE and our proposed Hybrid-LightRNN lead to improved encoding mechanisms that can halve the time and memory consumption of MoS without performance losses. With MoS, we achieve an improvement of 1.5 BLEU scores on IWSLT 2014 German-to-English corpus and an improvement of 0.76 CIDEr score on image captioning. Moreover, on the larger WMT 2014 machine translation dataset, our MoS-boosted Transformer yields 29.5 BLEU score for English-to-German and 42.1 BLEU score for English-to-French, outperforming the single-Softmax Transformer by 0.8 and 0.4 BLEU scores respectively and achieving the state-of-the-art result on WMT 2014 English-to-German task.

研究の動機と目的

• Mixture of Softmaxes (MoS) の高いメモリおよび計算コストが、その実用的利用を制限しているが、モデルの表現力が向上していること。
• 複数のSoftmax成分の計算にかかる計算およびメモリ負荷を軽減するため、効率的な符号化方式による語彙サイズの縮小。
• 機械翻訳や画像キャプションなどの大規模な言語生成タスクにおけるMoSの効率性およびスケーラビリティの向上。
• BPEまたはハイブリッド・ライトRNNを用いたMoSが、推論コストを維持または低減しつつ、最先端の性能を達成できることの実証。
• 学習可能な符号化方式（例：ハイブリッド・ライトRNN）が、ヒューリスティック手法（例：BPE）を上回るかどうか、特に未知語の生成および意味構造の捉え込みの観点から検証すること。

提案手法

• 語をサブワード単位に符号化するためのバイトペア符号化（BPE）を適用し、語彙サイズを縮小することで、語をサブワードユニットの系列として表現し、より効率的なSoftmax計算を可能にする。
• 言語モデルの目的関数を用いて、語のテーブルベースのコードブックを学習する、学習可能な符号化機構「ハイブリッド・ライトRNN」を導入し、意味的または構文的に類似した語を共通の行または列にグループ化する。
• 学習されたコードブックを用いて、各語をコードトークンの系列として表現し、Softmax計算をコード系列上の条件付き分布の積に変換する。
• コード系列上で複数のSoftmax成分を用いたMoSを適用することで、語彙サイズを増大させることなく、より高いランクの確率行列と表現力の向上を実現する。
• バックプロパゲーションを用いて符号化テーブルをエンドツーエンド最適化し、データ駆動型で意味のあるコード割り当てをモデルが学習可能にする。
• Transformerベースのモデルに符号化方式を統合し、現代のシーケンス・トゥ・シーケンスアーキテクチャにおいてMoSを効率的に適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 BPEおよびハイブリッド・ライトRNNは、性能に損なわれることなく、Mixture of Softmaxesのメモリおよび計算コストを顕著に削減できるか？
• RQ2 意味的・構文的構造を語の表現で捉える観点から、学習可能な符号化方式（例：ハイブリッド・ライトRNN）がヒューリスティック手法（例：BPE）を上回るか？
• RQ3 未知語（OOV）の生成能力が、BPE-MoSがハイブリッド・ライトRNN-MoSを上回る性能向上に寄与する程度はどの程度か？
• RQ4 MoSの成分数を増やすと性能にどのような影響があり、その利益は次第に減少する傾向にあるか？
• RQ5 ハイブリッド・ライトRNNの学習済みコードブックが、意味的または構文的に類似した語を同じ行または列にグループ化できるか。これは意味のある構造学習の証左となるか？

主な発見

• IWSLT 2014 ドイツ語→英語翻訳タスクにおいて、BPEおよびハイブリッド・ライトRNNはMoSの時間およびメモリ消費量をそれぞれ約50％削減したが、性能に劣化は認められなかった。
• WMT 2014 英語→ドイツ語翻訳ベンチマークにおいて、BPEまたはハイブリッド・ライトRNNを用いたMoSは29.6 BLEUを達成し、新たな最先端の結果となった。
• BPEを用いたMoSは、IWSLT 2014 ドイツ語→英語翻訳で1.5 BLEUポイント、画像キャプションタスクでCIDErスコアが0.76ポイント向上した。
• MoSの成分数を増やすことで性能が向上するが、その利益は次第に減少する傾向にあり、中程度の混合数（例：3〜5）で十分に高い表現力を達成できることを示した。
• ハイブリッド・ライトRNNは、ランダムおよび頻度ベースのコードブック初期化よりもそれぞれ2.68および1.55 BLEUポイント優れており、符号化テーブルのエンドツーエンド学習の価値を裏付けた。
• 未知語生成を無効化しても、BPE-MoSはハイブリッド・ライトRNN-MoSを0.07 BLEUポイント上回った。これは、BPEの学習されたサブワード符号化が、ハイブリッド・ライトRNNの学習済みテーブルよりもデータ統計をより効果的に捉えていることを示している。