[論文レビュー] Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter

Lijun Wu, Xu Tan+5 more|arXiv (Cornell University)|Sep 1, 2018

Natural Language Processing Techniques参考文献 28被引用数 7

ひとこと要約

この論文は、神経機械翻訳（NMT）における精度低下の主な原因が誤り伝播であるという一般的な見解に挑戦し、後続に生成された語が精度が低くなるという現象について、言語的特徴—特に言語の分岐方向（右分岐対照左分岐）—がより大きな役割を果たしていることを示している。右分岐言語（例：英語）では翻訳の左側で高い精度を示し、左分岐言語（例：日本語）では右側で高い精度を示す。これは、デコード方向とは無関係に成立する。この知見は、TransformerおよびRNNモデル、および要約生成タスクにおいても裏付けられている。

ABSTRACT

Neural machine translation usually adopts autoregressive models and suffers from exposure bias as well as the consequent error propagation problem. Many previous works have discussed the relationship between error propagation and the \emph{accuracy drop} (i.e., the left part of the translated sentence is often better than its right part in left-to-right decoding models) problem. In this paper, we conduct a series of analyses to deeply understand this problem and get several interesting findings. (1) The role of error propagation on accuracy drop is overstated in the literature, although it indeed contributes to the accuracy drop problem. (2) Characteristics of a language play a more important role in causing the accuracy drop: the left part of the translation result in a right-branching language (e.g., English) is more likely to be more accurate than its right part, while the right part is more accurate for a left-branching language (e.g., Japanese). Our discoveries are confirmed on different model structures including Transformer and RNN, and in other sequence generation tasks such as text summarization.

研究の動機と目的

• 神経機械翻訳（NMT）における精度低下の主な原因が誤り伝播であるかどうかを調査すること、特に後続に生成された語が精度が低くなる現象について。
• 言語的特徴、特に言語分岐方向（右分岐対照左分岐）が翻訳シーケンス全体における精度分布に与える影響を検討すること。
• 観察された精度低下のパターンが、異なるモデルアーキテクチャ（例：Transformer、RNN）およびシーケンス生成タスク（例：要約生成）にわたって継続するかどうかを評価すること。
• n-gramおよび依存解析統計を用いた実証的証拠を提示し、言語構造と精度分布の相関関係を説明すること。

提案手法

• 複数の言語対（例：En-De、En-Zh、En-Ja、En-Tr）に対して左から右および右から左のNMTモデルを学習し、生成された翻訳の左半分と右半分における精度分布を比較する。
• 誤り伝播の影響を分離するために推論時に教師強制（teacher forcing）を適用し、標準的な自己回帰的デコードと比較する。
• 右分岐言語と左分岐言語の文の異なる部分における構造的予測可能性を評価するため、n-gram頻度および条件付き確率を分析する。
• 文の左部分と右部分における構文的依存関係密度を測定するために依存解析分析を実施する。
• Gigawordデータセットを用いたRNNベースのモデルを用いて要約生成タスクに拡張し、翻訳以外のシーケンス生成タスクへの一般化可能性を検証する。
• BLEUおよびROUGE F1スコアを用いて、異なるデコード方向およびモデルタイプにおける生成シーケンスの左半分と右半分の精度を定量的に比較する。

実験結果

リサーチクエスチョン

• RQ1 誤り伝播が神経機械翻訳における精度低下の主な要因であると言えるか。特に、後続に生成された語が精度が低くなる現象について。
• RQ2 ターゲット言語の分岐方向（右分岐対照左分岐）が翻訳の左側と右側における精度分布に顕著な影響を及ぼすか。
• RQ3 教師強制の実験によって測定される誤り伝播の寄与度はどの程度か。
• RQ4 n-gram頻度や依存解析といった言語統計が、分岐方向に応じて文の部分ごとの構造的予測可能性が異なるという仮説を支持できるか。
• RQ5 観察された精度低下のパターンは、要約生成のような他のシーケンス生成タスクにも一般化可能か。

主な発見

• 誤り伝播だけでは精度低下現象を説明できない。教師強制を適用しても、翻訳の左半分と右半分のパフォーランス格差は解消されない。
• 右分岐言語（例：英語、ドイツ語）では、デコード方向（左から右、右から左）にかかわらず、翻訳の左半分が右半分よりも一貫して精度が高い。
• 左分岐言語（例：日本語、トルコ語）では、翻訳の右半分が左半分よりも精度が高いことが示され、言語構造に応じて精度パターンが逆転している。
• n-gram頻度および条件付き確率は、右分岐言語では左半分で、左分岐言語では右半分で顕著に高い値を示し、分岐方向に応じて構造的予測可能性が異なるという仮説を支持する。
• 依存解析統計では、右分岐言語では左半分に、左分岐言語では右半分に、より多くの構文的依存関係が集中していることが示され、精度分布の言語的根拠をさらに裏付けた。
• 精度低下のパターンは、TransformerおよびRNNといった異なるモデルアーキテクチャ、翻訳および要約生成という異なるタスクにおいても継続的に観察され、その頑健性と言語的根拠を確認した。