[論文レビュー] Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation

Jiawei Wu, Xin Wang+1 more|arXiv (Cornell University)|Apr 4, 2019

Natural Language Processing Techniques参考文献 38被引用数 4

ひとこと要約

この論文では、バックトランスレーションに代わって、実際の対訳文を抽出・編集することで高品質な学習信号を提供する、新しい非教師付きニューラル機械翻訳手法であるExtract-Editを提案する。実際の文のペアに基づいて相対的な翻訳の類似度を最適化する比較的翻訳損失を導入することで、4つの言語対で最先端の性能を達成し、従来手法よりもBLEUスコアを2.0〜3.63ポイント向上させた。

ABSTRACT

The overreliance on large parallel corpora significantly limits the applicability of machine translation systems to the majority of language pairs. Back-translation has been dominantly used in previous approaches for unsupervised neural machine translation, where pseudo sentence pairs are generated to train the models with a reconstruction loss. However, the pseudo sentences are usually of low quality as translation errors accumulate during training. To avoid this fundamental issue, we propose an alternative but more effective approach, extract-edit, to extract and then edit real sentences from the target monolingual corpora. Furthermore, we introduce a comparative translation loss to evaluate the translated target sentences and thus train the unsupervised translation systems. Experiments show that the proposed approach consistently outperforms the previous state-of-the-art unsupervised machine translation systems across two benchmarks (English-French and English-German) and two low-resource language pairs (English-Romanian and English-Russian) by more than 2 (up to 3.63) BLEU points.

研究の動機と目的

• バックトランスレーションにおける根本的な制限、すなわち、低品質な擬似並列文によって翻訳誤差が蓄積され、モデル性能が低下する問題に対処すること。
• モノリンガルなターゲットコーパスから得られる実際の高品質な文ペアを活用して、非教師付き学習をガイドし、分布のずれを回避すること。
• 抽出・編集された実際の文との相対的な類似度に基づいて翻訳を評価する比較的翻訳損失を導入し、翻訳の整合性と一般化性能を向上させること。
• 並列データを一切必要としない完全な非教師付き学習を可能とし、低リソース言語対にも適用可能なアプローチを実現すること。

提案手法

• ソース文とターゲット文の間の意味的類似度を用いて、ターゲットのモノリンガルコーパスから並列文候補を抽出する。
• 抽出された文を、ソース文と意味的に整合するように編集するメカニズムを適用し、流暢さと関連性を向上させる。
• 抽出・編集されたターゲット文の中でも最も類似度が高いものに対して、モデルの翻訳が最大限に類似するようにする比較的翻訳損失を定式化する。
• モノリンガルコーパスのみを用いて、抽出・編集モジュールとNMTモデルをエンドツーエンドで同時に学習する。
• 抽出段階で、ソース文とターゲット文の間の意味的整合性を保つために、二重アテンションメカニズムを用いる。
• 並列データが存在しない状況でも学習を安定化させるために、言語モデルや初期化技術（例：バイリンガル辞書の投影）を活用する。

実験結果

リサーチクエスチョン

• RQ1 モノリンガルターゲットコーパスから抽出した実際の文ペアは、非教師付きNMTにおけるバックトランスレーションで得られる擬似ペアよりも信頼性の高い学習信号として機能するか？
• RQ2 複数の抽出・編集済み候補に対して相対的に評価する比較的翻訳損失は、標準的な再構成損失と比較してモデル性能を向上させるか？
• RQ3 抽出・編集フレームワークは、英語・ルーマニア語や英語・ロシア語のような低リソース言語対を含む多様な言語対において、どの程度の性能を示すか？
• RQ4 バックトランスレーションによる誤差蓄積によって引き起こされる分布のずれは、この手法によってどの程度軽減されるか？
• RQ5 抽出・編集アプローチは、機械翻訳を超えた非教師付き学習にも一般化可能か？

主な発見

• Extract-Edit手法は、評価されたすべての言語対で、以前の最先端の非教師付きNMTシステム（Lample et al., 2018b）を一貫して上回った。
• 英語・フランス語および英語・ドイツ語のベンチマークでは、2.0以上のBLEUポイントの向上を達成し、最大で3.63 BLEUポイントの向上を記録した。
• 低リソース言語対、特に英語・ルーマニア語や英語・ロシア語に対しても、限定的な並列データの中でも顕著な性能向上を示した。
• 比較的翻訳損失は、モデルが擬似ペアよりも実際の高品質なターゲット文に類似した翻訳を生成するように効果的に誘導した。
• バックトランスレーションに内在する誤差蓄積を回避するため、実際のターゲット文に依存することで、分布のずれを低減した。
• 実験的結果により、Extract-Editは高リソースおよび低リソースの両設定においてバックトランスレーションを上回ることが確認され、その頑健性とスケーラビリティが裏付けられた。