[論文レビュー] Correct-and-Memorize: Learning to Translate from Interactive Revisions

Rongxiang Weng, Hao Zhou+4 more|arXiv (Cornell University)|Jul 8, 2019

Natural Language Processing Techniques参考文献 32被引用数 9

ひとこと要約

この論文では、双方向の文修正と過去の修正を記憶する能力を備えた、翻訳効率性と品質を向上させる新規なインタラクティブニューラル機械翻訳フレームワークCAMITを提案する。人間のユーザーが文のどこにでも重大な誤りを修正できるようにし、順次双方向デコーダーによって関連する誤りを自動で是正することで、CAMITは修正の必要を最大50％削減し、理想的な状況ではBLEUスコアを17ポイント向上、実世界の状況では8ポイント向上させるとともに、学習された修正記憶メカニズムによりUNKトークン率を16.1％低下させた。

ABSTRACT

State-of-the-art machine translation models are still not on par with human translators. Previous work takes human interactions into the neural machine translation process to obtain improved results in target languages. However, not all model-translation errors are equal -- some are critical while others are minor. In the meanwhile, the same translation mistakes occur repeatedly in a similar context. To solve both issues, we propose CAMIT, a novel method for translating in an interactive environment. Our proposed method works with critical revision instructions, therefore allows human to correct arbitrary words in model-translated sentences. In addition, CAMIT learns from and softly memorizes revision actions based on the context, alleviating the issue of repeating mistakes. Experiments in both ideal and real interactive translation settings demonstrate that our proposed \method enhances machine translation results significantly while requires fewer revision instructions from human compared to previous methods.

研究の動機と目的

• 単方向のインタラクティブNMTモデルが、複数回の修正を要し、修正位置の左側の誤りを是正できないという非効率性を是正すること。
• 過去の人間による修正から学習することで、類似した文脈やドメイン環境において繰り返し起こる翻訳誤りを低減すること。
• 人間のユーザーが文のどこにでも最も深刻な誤りを最初に修正できるようにすることで、インタラクティブ翻訳の効率を向上させること。
• 双方向デコーディングと語・文レベルの修正記憶という二重メカニズムにより、翻訳品質を向上させること。
• 理想的および実世界のインタラクティブ環境において、翻訳出力の品質を維持または向上させながら、人間の修正作業の負荷を最小限に抑えること。

提案手法

• CAMITは、人間による各修正後に文全体を更新する順次双方向デコーダーを採用しており、修正された語の左右に位置する誤りを自動で是正できる。
• モデルはキーバリューベースの修正記憶メカニズムを用いて、過去の語レベルの修正を保存・取得し、類似したミスの再発を防いでいる。
• 文レベルでは、オンライン学習により、以前に修正された文を基にベースNMTモデルを微調整し、特定の文脈やドメインに適応している。
• 従来の左から右へのプロトコルに縛られない、任意の位置からの修正を許容することで、人間のフィードバックを統合している。
• 推論中に動的に修正記憶を更新し、モデルが修正内容を「記憶」し、類似した将来の文に適用できるようにしている。
• 語レベルの記憶と文レベルのファインチューニングを組み合わせることで、希少語やドメイン固有の用語に対しても耐性を高めている。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブNMTにおける双方向デコーディング戦略は、単方向手法と比較して、人間による修正回数を削減できるか？
• RQ2 学習された修正記憶メカニズムは、類似した文脈において同一誤りの再発をどの程度低減できるか？
• RQ3 修正済み文に対するオンラインファインチューニングは、ドメイン特化または文脈整合的な環境で翻訳品質をどのように向上させるか？
• RQ4 語レベルの記憶と文レベルの適応の組み合わせは、翻訳出力におけるUNKトークン率を低下させることができるか？
• RQ5 提案手法は、実世界の環境において人間の関与の負荷を著しく削減しながら、翻訳品質を維持または向上させることができるか？

主な発見

• 理想的なインタラクティブ環境では、CAMITはわずか2回の人の修正で翻訳品質を17 BLEUポイント向上させた。
• 実世界の環境では、CAMITは1文あたり平均1.81回の修正で8 BLEUポイントの向上を達成し、人的作業負荷を顕著に削減した。
• 修正記憶によりUNKトークン率が16.1％低下（2052から1723に）し、希少語や未知語の処理が改善された。
• 単方向モデルとは異なり、CAMITは修正位置の左側の誤りも正常に是正できることを示した。
• 事例研究では、1度の修正文を学習した後、CAMITが後続の文脈関連文において類似誤りを自動で是正し、修正の必要を減らすことができた。
• 提案手法は、BLEUスコアと修正効率の両面で、既存のインタラクティブNMTベースラインを上回り、優れたデコーディングと学習メカニズムを示した。