[論文レビュー] Novel Applications of Factored Neural Machine Translation

Patrick Wilken, Evgeny Matusov|arXiv (Cornell University)|Oct 9, 2019

Natural Language Processing Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、操作シーケンスNMT（OSNMT）における語の語彙的ケース、サブワード分割、および特別トークンの予測に、ターゲット側の要因を用いることで、ファクタードニューラル機械翻訳（FNMT）の新規応用を提示する。この手法は翻訳品質を損なわず、デコード効率を向上させ、未知語を効果的に処理する。OSNMTでは、シーケンス長の短縮により顕著なBLEUスコアの向上を達成し、英語→ドイツ語および英語→トルコ語翻訳タスクにおいても速度と性能を維持する。

ABSTRACT

In this work, we explore the usefulness of target factors in neural machine translation (NMT) beyond their original purpose of predicting word lemmas and their inflections, as proposed by Garcìa-Martìnez et al., 2016. For this, we introduce three novel applications of the factored output architecture: In the first one, we use a factor to explicitly predict the word case separately from the target word itself. This allows for information to be shared between different casing variants of a word. In a second task, we use a factor to predict when two consecutive subwords have to be joined, eliminating the need for target subword joining markers. The third task is the prediction of special tokens of the operation sequence NMT model (OSNMT) of Stahlberg et al., 2018. Automatic evaluation on English-to-German and English-to-Turkish tasks showed that integration of such auxiliary prediction tasks into NMT is at least as good as the standard NMT approach. For the OSNMT, we observed a significant improvement in BLEU over the baseline OSNMT implementation due to a reduced output sequence length that resulted from the introduction of the target factors.

研究の動機と目的

• 語の原型と語彙素的タグの予測を超えて、ニューラル機械翻訳における補助予測タスクにファクタードNMTを拡張すること。
• ターゲット側の要因を用いて1ステップあたり複数のターゲットトークンを予測することで、デコードシーケンス長を短縮し、推論速度を向上させること。
• 語のキャピタライゼーションのバリエーション間で情報を明示的に共有することで、低リソース環境におけるデータスパarsityを緩和すること。
• 特別な制御トークンを分離することで、操作シーケンスNMT（OSNMT）モデルを改善し、シーケンス長を短縮し、性能を向上させること。

提案手法

• ファクタードデコーダーのアーキテクチャは、1ステップあたり2つの出力を生成する：主なターゲットトークンと、ケースや分割といった補助予測のための要因。
• 語のケースを予測する要因は、デコーダー状態と主なトークン埋め込みに基づいて条件付けられた別個のソフトマックス層を用いる。
• 分割要因は、連続する2つのサブワードが結合されるかどうかを予測し、サブワードトークン化における結合マーカー（例：'@@'）の必要性を排除する。
• OSNMTでは、特別な操作トークン（例：SRC_POP）を予測する要因を用い、1ステップあたり複数の操作を処理することで、デコードステップ数を削減する。
• モデルは、主出力と要因の両方の交差エントロピー損失を同時に最適化することで、エンドツーエンドに訓練され、ビームサーチは両出力を同時に考慮するように変更される。
• 本手法は、BLEU、TER、デコード速度の指標を用いて、英語→ドイツ語および英語→トルコ語翻訳タスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 ターゲット側の要因を用いて語のキャピタライゼーションを効果的に予測できるか？ これにより推論コストが増加しないか？
• RQ2 サブワード結合の意思決定を要因で予測することで、複合語（特に未学習のもの）の翻訳が改善されるか？
• RQ3 ファクタードNMTにより、1ステップあたり複数の操作を予測することで、OSNMTにおけるシーケンス長を短縮し、デコード速度を向上させ、性能を向上させられるか？
• RQ4 低リソース環境において、ファクタードNMTは標準NMTおよびトゥルーキャピタルライゼーション（truecasing）と比較して、語のキャピタライゼーション予測で優れているか？
• RQ5 要因による補助予測タスクの統合は、翻訳品質の向上に寄与するのか、それとも単にシーケンス効率の向上にとどまるのか？

主な発見

• ケース要因は、英語→ドイツ語のnewstest2019で37.9%のBLEUスコアを達成し、真値キャピタライゼーションを用いたベースラインと同等の翻訳品質を示し、品質の低下は認められなかった。
• 分割要因は、未学習の複合語（例：'show-jumping stadium' や 'technology legend'）の翻訳において顕著な改善を示した。ベースラインはこれらをそのままでコピーしていたが、本手法では正確に翻訳された。
• ファクタードOSNMTモデルは、出力シーケンス長を短縮し、非ファクタードベースラインと比較して顕著なBLEUスコアの向上を達成した。制御トークンの共同予測の利点が裏付けられた。
• 要因化によってデコード速度はほぼ変化しなかった。第二の要因の出力空間が小さく、主な語彙の縮小が計算コストを相殺したためである。
• 低リソース環境では、ケース要因がベースラインより明確な改善を示した。これは、共有表現によりデータスパarsityの問題が効果的に緩和されたことを示唆している。
• 両言語対において一貫した性能を維持した。補助要因化が翻訳品質を損なわず、構造的改善を可能にしていることが確認された。