[論文レビュー] Training Neural Machine Translation using Word Embedding-based Loss

Katsuki Chousa, Katsuhito Sudoh+1 more|arXiv (Cornell University)|Jul 30, 2018

Natural Language Processing Techniques参考文献 17被引用数 13

ひとこと要約

この論文は、事前学習済みの埋め込み空間内での距離に基づいて単語をペナルティ処理することで、意味的類似性を組み込んだ単語埋め込みベースの損失関数を、ニューラル機械翻訳（NMT）に提案する。正しい単語が語彙外（OOV）である場合に、意味的に類似した語彙内単語を生成するようモデルを促すことで、翻訳品質が向上し、IWSLT17英語→フランス語で最大+1.72 BLEUおよび+1.99 METEORの向上を達成した。また、語彙が1,000語に制限された状況でも顕著な向上が見られ、性能が著しく向上した。

ABSTRACT

In neural machine translation (NMT), the computational cost at the output layer increases with the size of the target-side vocabulary. Using a limited-size vocabulary instead may cause a significant decrease in translation quality. This trade-off is derived from a softmax-based loss function that handles in-dictionary words independently, in which word similarity is not considered. In this paper, we propose a novel NMT loss function that includes word similarity in forms of distances in a word embedding space. The proposed loss function encourages an NMT decoder to generate words close to their references in the embedding space; this helps the decoder to choose similar acceptable words when the actual best candidates are not included in the vocabulary due to its size limitation. In experiments using ASPEC Japanese-to-English and IWSLT17 English-to-French data sets, the proposed method showed improvements against a standard NMT baseline in both datasets; especially with IWSLT17 En-Fr, it achieved up to +1.72 in BLEU and +1.99 in METEOR. When the target-side vocabulary was very limited to 1,000 words, the proposed method demonstrated a substantial gain, +1.72 in METEOR with ASPEC Ja-En.

研究の動機と目的

• 語彙サイズの制限によって引き起こされる計算コストと翻訳品質のトレードオフを解消すること。
• 語彙外（OOV）単語の悪影響を、訓練損失関数に意味的類似性を組み込むことで軽減すること。
• 語彙が少ない状況でもモデルの頑健性を高めるために、OOVトークンの代わりに意味的に近い語彙内単語を生成するよう促すこと。
• 事前学習済みの単語埋め込みを用いて、標準的なソフトマックス交差エントロピーとは異なり、単語類似度を明示的にモデル化する損失関数の開発

提案手法

• 提案された損失関数は、事前学習済みの単語埋め込み空間内での、正解単語の埋め込みと、他のすべてのターゲット単語の埋め込みとのコサイン距離の重み付き平均を計算する。
• 重みはモデルのソフトマックス出力確率から得られるため、埋め込み空間内で正解単語から遠い単語を生成する確率が高い場合、より強くペナルティが課される。
• 標準的なNMT学習パイプラインに統合され、標準的な交差エントロピー損失に代わるか補完する形で、交差エントロピーと埋め込みベース正則化を組み合わせたハイブリッド損失が使用される。
• 事前学習済みの単語埋め込み（例：word2vec）は、NMT学習データとは独立して使用され、意味的類似性を定義する。これにより、正しい単語が欠落している場合にモデルが類似した単語を生成するよう学習できる。
• 本手法は、事前学習段階およびファインチューニング段階の両方で適用可能であり、アブレーションスタディの結果、交差エントロピー事前学習後に埋め込み損失を使用すると最良の結果が得られることを確認した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの単語埋め込みからの意味的類似性をNMT損失関数に組み込むことで、語彙外（OOV）単語の悪影響を軽減できるか？
• RQ2 意味的に遠い単語に対してより強くペナルティを課す損失関数は、語彙サイズの制限下でも翻訳品質を向上させるか？
• RQ3 異なる言語対および語彙サイズにおいて、提案された埋め込みベース損失は標準的な交差エントロピー損失と比較して、BLEUおよびMETEORスコアで優れているか？
• RQ4 提案手法により、希少語やOOV語に対して、意味的に類似した語彙内代替語を生成することで、語の選択が改善できるか？

主な発見

• IWSLT17英語→フランス語データセットにおいて、提案手法は標準NMTベースライン比で+1.72 BLEUおよび+1.99 METEORの向上を達成した。
• 語彙がたった1,000語に制限された極めて限定的な状況下でも、ASPEC日本語→英語データセットで+1.72 METEORの向上を示し、OOV状況下での頑健性を実証した。
• 埋め込みベース損失で学習したモデルは、'eyeball' に対して '<unk>' の代わりに 'eye' を、'moldings' に対して '<unk>' の代わりに 'extrusion form' を生成するなど、意味的に妥当な語彙内単語の選択を実現した。
• 本手法は、ASPEC（Ja-En）および IWSLT17（En-Fr）の両データセットで一貫して翻訳性能を向上させ、特に英語→フランス語対でより大きな向上が観察された。
• アブレーションスタディにより、交差エントロピー事前学習後に埋め込み損失を使用すると最良の結果が得られ、両損失成分が相乗効果をもたらすことが確認された。