[論文レビュー] Neural Machine Translation from Simplified Translations

Josep Crego, Jean Sénellart|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 6被引用数 7

ひとこと要約

この論文では、ニューラル機械翻訳（NMT）モデルを、ニューラルMTシステムから得た簡略化翻訳を用いて訓練することを提案しており、知識蒸留を活用して性能を向上させている。参照翻訳に加えて自動的に生成された簡略化翻訳を用いて訓練することで、得られるモデルは、BLEUスコアが向上し、新規テスト2014で最大+2.44 BLEUの向上を示しており、簡略化翻訳が学習を促進し、標準的なNMT訓練に比べて翻訳精度を向上させることを示している。

ABSTRACT

Text simplification aims at reducing the lexical, grammatical and structural complexity of a text while keeping the same meaning. In the context of machine translation, we introduce the idea of simplified translations in order to boost the learning ability of deep neural translation models. We conduct preliminary experiments showing that translation complexity is actually reduced in a translation of a source bi-text compared to the target reference of the bi-text while using a neural machine translation (NMT) system learned on the exact same bi-text. Based on knowledge distillation idea, we then train an NMT system using the simplified bi-text, and show that it outperforms the initial system that was built over the reference data set. Performance is further boosted when both reference and automatic translations are used to learn the network. We perform an elementary analysis of the translated corpus and report accuracy results of the proposed approach on English-to-French and English-to-German translation tasks.

研究の動機と目的

• 対象言語側の翻訳を簡略化することで、ニューラル機械翻訳の性能が向上するかどうかを調査すること。
• ニューラルMTシステムからの知識蒸留によって、訓練に有用な簡略化翻訳を生成できるかどうかを検討すること。
• 訓練時に参照データと簡略化翻訳を併用することで、参照データのみを用いた場合に比べて一般化性能が向上するかどうかを評価すること。
• 参照翻訳と比較して、簡略化翻訳の構造的性質および対応関係（アライメント）の性質を分析すること。

提案手法

• まず、標準的な並列対訳語彙を用いて、ニューラルMTシステムを訓練し、自動翻訳を生成する。
• これらの自動翻訳が、意味を保持しつつ構文的・語彙的複雑性を低減した簡略化されたターゲット参照として使用される。
• 知識蒸留を適用する：より大きな教師モデルの挙動を模倣するように、より小さな学生NMTモデルを訓練する。この際、参照翻訳と簡略化翻訳の両方を訓練データとして用いる。
• 学生モデルは、注意メカニズムを備えたRNNを用いたLSTMユニットを用いた双方向エンコーダデコーダアーキテクチャで訓練される。
• 訓練データは言語固有のルールに基づいてフィルタリングおよびトークン化され、語彙は元語および目的語言語で頻出する上位50,000語に制限される。
• モデルは確率的勾配降下法を用いて訓練され、ドロップアウト（0.3）、ビームサーチデコード（ビームサイズ5）、10エポック目以降の学習率の段階的低下が適用される。

実験結果

リサーチクエスチョン

• RQ1 自動的に生成された簡略化翻訳は、ニューラル機械翻訳モデルの性能向上に寄与するか？
• RQ2 BLEUスコアおよびモデルの一般化性能の観点から、簡略化翻訳の使用は標準的な参照翻訳の使用と比べてどのように異なるか？
• RQ3 訓練時に参照翻訳と簡略化翻訳を併用することで、どちらか一方を用いる場合よりも優れた結果が得られるか？
• RQ4 参照翻訳と比較して、簡略化翻訳はどれほど構造的複雑性とクロスアライメントを低減するか？

主な発見

• 簡略化翻訳のみで訓練された学生NMTモデルは、教師モデルを上回り、英語→ドイツ語のテストインターナルセットで+0.51 BLEUのスコア向上を達成した。
• 英語→フランス語タスクでは、簡略化翻訳モデルが教師モデルを+0.69 BLEU上回った。
• 参照翻訳と簡略化翻訳を併用した場合、教師モデルと比較して英語→ドイツ語で+1.19 BLEU、英語→フランス語で+1.46 BLEUのスコア向上が得られた。
• 最高の性能はR+A構成（参照翻訳と自動翻訳の併用）で達成され、英語→ドイツ語では34.59 BLEU、英語→フランス語では55.24 BLEUのテストインターナルセットスコアを記録した。
• 簡略化翻訳では、元の文と翻訳文間のクロスアライメント数が顕著に減少しており、構造的対応が単純化されていることが示された。
• 簡略化データで訓練されたモデルは、特に未知語（OOV）語に対して一般化性能が向上しており、珍しいまたは未学習の語に対してもより頑健であることが示唆された。