[論文レビュー] Context-Aware Learning for Neural Machine Translation

Sébastien Jean, Kyunghyun Cho|arXiv (Cornell University)|Mar 12, 2019

Natural Language Processing Techniques参考文献 25被引用数 16

ひとこと要約

本論文は、文書翻訳における前後の文などの追加的文脈を明示的に活用するようニューラル機械翻訳モデルを促すために、マルチレベルのペairワイズランキング損失を用いた文脈に配慮した学習アルゴリズムを提案する。変換器ベースのシステム上で評価された結果、文脈への感受性が著しく向上し、BLEUスコアの明確な向上が得られた。これは、文脈に注目する学習がアーキテクチャ設計と同等に重要であることを示している。

ABSTRACT

Interest in larger-context neural machine translation, including document-level and multi-modal translation, has been growing. Multiple works have proposed new network architectures or evaluation schemes, but potentially helpful context is still sometimes ignored by larger-context translation models. In this paper, we propose a novel learning algorithm that explicitly encourages a neural translation model to take into account additional context using a multilevel pair-wise ranking loss. We evaluate the proposed learning algorithm with a transformer-based larger-context translation system on document-level translation. By comparing performance using actual and random contexts, we show that a model trained with the proposed algorithm is more sensitive to the additional context.

研究の動機と目的

• ニューラル機械翻訳モデルが、前後の文や画像などのより大きな文脈を効果的に活用できないという限界に対処すること。
• アーキテクチャ設計に依存せずに、モデルが追加的文脈を活用するよう明示的に促す学習アルゴリズムを開発すること。
• 文脈がノイズ混じりや不適切であっても、モデルが正しい文脈に敏感になるように翻訳品質を向上させること。
• 修正された変換器アーキテクチャを用いて、文書レベル翻訳における本手法の有効性を評価すること。

提案手法

• 正しい文脈とのペアリングされた翻訳に、誤ったまたはランダムな文脈とのペアリングよりも高い対数尤度を割り当てるマルチレベルのペアワイズランキング損失を導入。
• 文脈の有用性が異なる粒度に応じて、トークンレベル、文レベル、バッチレベルの3段階で正則化項を適用。
• 現在の文と以前の文を別々に符号化し、その後に表現を統合してデコードするように変更された変換器モデルを用いる。
• マージンに基づくランキング損失を用いて、正しいと誤った文脈ペアを区別するように学習する対照的訓練目的を採用。
• ハイパーパramータを検証性能に基づいて調整しながら、標準的な最大尤度損失に加えて、提案された正則化項を用いてモデルを訓練。
• 実際の文脈とランダムにシャッフルした文脈を用いた翻訳品質の比較により、モデルの感受性を評価し、文脈認識の指標としてBLEU差を測定。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャを変更せずに、ニューラル機械翻訳モデルの追加的文脈への感受性を高めうる学習アルゴリズムを設計できるか？
• RQ2 マルチレベルのペアワイズランキング損失は、文書翻訳における正しい文脈の活用を実際に効果的に向上させるか？
• RQ3 標準的な最大尤度学習と比較して、本手法は翻訳品質をどの程度向上させるか？
• RQ4 標準学習と比較して、本手法で訓練されたモデルの文脈への感受性はどのように変化するか？

主な発見

• 提案された正則化項を用いて訓練されたモデルは、ベースラインと比較してBLEUスコアが著しく向上しており、全体的な翻訳品質の向上を示している。
• 標準的な最大尤度学習で訓練されたモデルは、誤った文脈が与えられた場合でもBLEUスコアの低下が最小限（ΔBLEU = 0.40）に抑えられ、以前の文を活用していないことが裏付けられた。
• 本手法によりモデルの文脈への感受性が向上し、文脈が必要な文では正しい文脈ペアと誤った文脈ペアの累積BLEUスコアの差が顕著に開いた。
• 本手法で訓練されたモデルは、正しい文脈とランダムな文脈を比較した際、ΔBLEU^test(θ)が0.40を超える正の値を示し、文脈認識の向上を確認した。
• マルチレベル損失設計により、トークンレベル、文レベル、バッチレベルの3段階で文脈活用が向上したことが示され、本手法は複数の粒度にわたり有効であることが確認された。