[論文レビュー] ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems

Iñigo Jauregi Unanue, Ehsan Zare Borzeshi+2 more|arXiv (Cornell University)|Apr 4, 2019

Natural Language Processing Techniques参考文献 32被引用数 7

ひとこと要約

この論文では、次なる単語（カテゴリカル）を予測するとともに、その単語埋め込み（連続的）を回帰するように、ニューラル機械翻訳（NMT）のための新しい正則化手法ReWEを提案する。訓練中に事前学習済み単語埋め込みを回帰ターゲットとして組み込むことで、特に低リソース設定において一般化性能が向上し、強力なベースラインおよび最先端モデルに対して一貫したBLEUスコアの向上（0.91–2.54ポイント）を達成する。

ABSTRACT

Regularization of neural machine translation is still a significant problem, especially in low-resource settings. To mollify this problem, we propose regressing word embeddings (ReWE) as a new regularization technique in a system that is jointly trained to predict the next word in the translation (categorical value) and its word embedding (continuous value). Such a joint training allows the proposed system to learn the distributional properties represented by the word embeddings, empirically improving the generalization to unseen sentences. Experiments over three translation datasets have showed a consistent improvement over a strong baseline, ranging between 0.91 and 2.54 BLEU points, and also a marked improvement over a state-of-the-art system.

研究の動機と目的

• 低リソース設定におけるニューラル機械翻訳（NMT）の一般化性能の制限要因、特に露出バイアスおよび意味的に類似した単語の取り扱いが不適切である点を解決すること。
• 訓練中に事前学習済み単語埋め込みにエンコードされた分布的性質を活用することで、モデルのロバスト性を向上させること。
• 推論の変更なしに一般化性能を向上させる正則化手法を開発し、標準NMTパイプラインと互換性を保つこと。
• 単語のカテゴリと連続的単語埋め込みの併用予測が、標準的な最尤推定よりも優れた一般化をもたらすかどうかを調査すること。

提案手法

• 標準的なseq2seqデコーダーを変更し、次の単語のカテゴリカル予測（ソフトマックスによる出力）と、単語埋め込みの連続的予測（2層のネットワークによる出力）の2つの出力を生成する。
• 連続的予測は、正解ターゲット単語の事前学習済み単語埋め込みに向かって回帰するように、平均二乗誤差（MSE）またはコサイン埋め込み損失（CEL）を用いて訓練する。
• 訓練目的関数は、単語予測のための標準的な負の対数尤度（NLL）損失とスケーリングされた埋め込み回帰損失を組み合わせており、バランスを制御するハイパーパrameter λ を用いる。
• 両方の損失を同時に最適化して共同訓練を行うが、推論時にはカテゴリカル予測のみを用いるため、標準NMTの動作を維持する。
• 3つの多様な翻訳データセット（英仏、チェコ英、バスク英）を用いて評価し、バイトペアエンコーディング（BPE）の有無を問わず評価する。
• ドロップアウト、語彙バイアス、データブートストラップを用いた強力なベースラインおよび最先端システムと比較する。

実験結果

リサーチクエスチョン

• RQ1 単語のカテゴリと単語埋め込みの併用予測が、ニューラル機械翻訳における一般化性能の向上に寄与するか？
• RQ2 事前学習済み単語埋め込みに向かって回帰させることで、露出バイアスが軽減され、未知の文における性能が向上するか？
• RQ3 埋め込み損失の選択（MSE 対 CEL）が、訓練の安定性および最終的な性能に与える影響は何か？
• RQ4 ReWEは、特に低リソース設定において、さまざまな言語対に対して一貫した改善をもたらすか？
• RQ5 BLEUスコアおよびロバスト性の観点から、ReWEは最先端のNMT正則化手法と比較して優れているか？

主な発見

• ReWEは強力なベースラインに対して一貫した改善を示し、3つのデータセットでBLEUスコアが0.91～2.54ポイント向上した。
• DenkowskiとNeubig（2017）の最先端システムを除くすべての設定で上回り、強力な競争力を持つことが示された。
• 特にバスク語-英語（eu-en）翻訳タスクで顕著な向上が見られ、2.54ポイントのBLEUスコア向上を達成した。
• BPEの使用は、語形が豊富な言語（チェコ語-英語およびバスク語-英語）では性能向上をもたらしたが、英語-フランス語では効果がなかったため、言語に依存する利点があると考えられる。
• コサイン埋め込み損失（CEL）はMSEに比べて滑らかな訓練ダイナミクスを示したのに対し、MSEは特に最適化アルゴリズムの再起動時において大きな変動を示した。
• 統計的有意性検定により、すべてのデータセットで改善が有意（p < 0.05）であることが確認された。