[論文レビュー] Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs

Sachin Kumar, Yulia Tsvetkov|arXiv (Cornell University)|Dec 10, 2018

Natural Language Processing Techniques被引用数 54

ひとこと要約

論文は softmax を連続的な埋め込みベースの出力に置換し、von Mises-Fisher 損失を導入して seq2seq モデルを訓練し、訓練を速くし、特に大きな語彙数で競争力のある翻訳品質を達成します。

ABSTRACT

The Softmax function is used in the final layer of nearly all existing sequence-to-sequence models for language generation. However, it is usually the slowest layer to compute which limits the vocabulary size to a subset of most frequent types; and it has a large memory footprint. We propose a general technique for replacing the softmax layer with a continuous embedding layer. Our primary innovations are a novel probabilistic loss, and a training and inference procedure in which we generate a probability distribution over pre-trained word embeddings, instead of a multinomial distribution over the vocabulary obtained via softmax. We evaluate this new class of sequence-to-sequence models with continuous outputs on the task of neural machine translation. We show that our models obtain upto 2.5x speed-up in training time while performing on par with the state-of-the-art models in terms of translation quality. These models are capable of handling very large vocabularies without compromising on translation quality. They also produce more meaningful errors than in the softmax-based models, as these errors typically lie in a subspace of the vector space of the reference translations.

研究の動機と目的

• 大規模な語彙が原因で seq2seq モデルにおける softmax の計算上のボトルネックを低減する動機付け。
• 語彙確率の代わりに埋め込みを予測する連続出力アーキテクチャを提案。
• これらのモデルを訓練するために von Mises-Fisher 分布に基づく確率的損失を導入。
• 複数言語にわたる IWSLT および WMT データセットで翻訳品質と訓練効率を評価する。
• 埋め込み品質が翻訳結果に与える影響と誤りモードを分析する。

提案手法

• 各出力語を固定サイズの埋め込みで表現し、デコーダの各ステップで連続ベクトルを予測する。
• デコーディング時に埋め込み空間で最近傍探索を用いて、予測ベクトルを語に対応づける。
• 正しい語の埋め込みの尤度を最大化するよう von Mises-Fisher 分布に基づく確率的損失を定義する。
• 訓練を安定化させるため、出力ベクトルのノルムを制御する項で損失を正則化する。
• 異なる埋め込み（word2vec、fastText）と損失のバリアント（NLLvMF_reg1、NLLvMF_reg1+reg2、MaxMargin、L2、Cosine）を試す。
• デコーダ入力埋め込みを事前学習済みのターゲット埋め込みに結びつけてパラメータを削減し、収束を改善する。

実験結果

リサーチクエスチョン

• RQ1 連続埋め込みベースの出力層は翻訳品質を犠牲にすることなく seq2seq モデルの softmax を置換できるか？
• RQ2 vMF ベースの損失は埋め込み出力の回帰損失に対して理論的に根拠のある代替案を提供するか？
• RQ3 埋め込み最近傍探索によるオープン語彙デコードは、MTタスクにおける BPE などのサブワード手法とどう比較されるか？
• RQ4 埋め込み品質と正則化が翻訳性能と稀有語の扱いに与える影響は？
• RQ5 このようなフレームワークは大規模語彙と大規模データセットに対して訓練効率を維持しつつ拡張できるか？

主な発見

• 連続出力モデルは softmax ベースのベースラインより最大で 2.5 倍速く訓練できる。
• 最も性能の良い損失（MaxMargin と NLLvMF のバリアント）は競争力のある BLEU スコアを達成し、いくつかの言語ペアで強力な BPE ベースラインを上回る。
• 事前学習済みの fastText 埋め込みを使用し、デコーダ入力をターゲット埋め込みに結びつけることでパラメータを削減し、収束を速める。
• 稀有語の翻訳が改善され、正確な語の一致が利用できない場合にも意味的に関連する語や同義語の翻訳を出力する。
• 埋め込み最近傍探索によるオープン語彙デコードは、品質や速度を低下させることなく大規模語彙を扱うことを可能にする。