[論文レビュー] Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information

Yongkeun Hwang, Hyungu Yun+1 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques参考文献 28被引用数 7

ひとこと要約

本稿では、文脈に配慮した神経機械翻訳のための対照的学習フレームワークであるCorefCLを提案する。このフレームワークは、共参照情報を活用して翻訳モデルの文間依存関係への感受性を向上させる。文脈文における共参照的照応語を語の省略および置換によって汚染することで、対照的例を生成し、複数のドキュメントレベル翻訳タスクにおいて翻訳品質（BLEU）および共参照解決精度の両方を向上させる。

ABSTRACT

Context-aware neural machine translation (NMT) incorporates contextual information of surrounding texts, that can improve the translation quality of document-level machine translation. Many existing works on context-aware NMT have focused on developing new model architectures for incorporating additional contexts and have shown some promising results. However, most existing works rely on cross-entropy loss, resulting in limited use of contextual information. In this paper, we propose CorefCL, a novel data augmentation and contrastive learning scheme based on coreference between the source and contextual sentences. By corrupting automatically detected coreference mentions in the contextual sentence, CorefCL can train the model to be sensitive to coreference inconsistency. We experimented with our method on common context-aware NMT models and two document-level translation tasks. In the experiments, our method consistently improved BLEU of compared models on English-German and English-Korean tasks. We also show that our method significantly improves coreference resolution in the English-German contrastive test suite.

研究の動機と目的

• 従来の文脈に配慮したNMTモデルが主に交差エントロピー損失に依存しているため、文脈情報の利用が限定的であるという問題に対処する。
• データ拡張および対照的学習の仕組みを導入することで、文間における共参照の不一致に対するモデルの頑健性を向上させる。
• 訓練データにオラクル共参照アノテーションを必要とせずに、翻訳品質および共参照解決性能の両方を向上させる。
• 複数のアーキテクチャおよびデータセット（低リソースおよび高リソース設定を含む）において、モデルに依存しない改善を示す。
• 語の省略および置換という共参照汚染戦略の有効性が、共参照に敏感なタスクにおけるモデル一般化能力の向上に寄与するかどうかを調査する。

提案手法

• 事前学習済みの共参照解決システムを用いて、元文と文脈文の間の共参照的照応語を自動的に検出する。
• 語の省略および語の置換戦略を用いて、文脈文における共参照的照忯語を汚染することで、対照的例を生成する。
• 最大マージン対照的損失を適用し、元の例と汚染された例を区別するようにモデルを促進することで、文脈の不一致への感受性を高める。
• アーキテクチャの変更なしに、標準的な文脈に配慮したNMTモデル（例：マルチエンコーダ、階層型）に対照的学習の目的関数を統合する。
• 標準的な交差エントロピー損失と本稿で提案する対照的損失の組み合わせを用いて、翻訳および共参照の一貫性を同時に最適化するエンドツーエンドの学習を行う。
• WMT、IWSLT、OpenSubtitles、およびウェブクロールされた英朝鮮語データセットを含む、複数のドキュメントレベル翻訳ベンチマークで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 共参照に基づくデータ拡張と対照的学習を組み合わせることで、標準的な交差エントロピー学習を上回る文脈に配慮したNMTの性能向上が達成できるか？
• RQ2 ContraProという専用の対照的ベンチマークで、提案されたCorefCL手法が共参照解決性能に与える影響は何か？
• RQ3 CorefCLによる改善は、語の省略と置換のどちらの汚染戦略に依存しているのか、その程度は何か？
• RQ4 CorefCLは、WMTとOpenSubtitlesの間のようなドメインシフトに対しても一般化可能か？
• RQ5 CorefCLは、英朝鮮語の字幕のような低リソース翻訳タスクでも性能向上を達成できるか？

主な発見

• CorefCLは、評価されたすべてのタスクで一貫してBLEUスコアを向上させ、WMTでは最大1.5 BLEUポイント、OpenSubtitlesでは最大2.1 BLEUポイントの向上を達成した。
• ContraPro英独対照的共参照ベンチマークでは、CorefCLがベースライン比で代名詞解決精度を最大5.5パーセンテージポイント向上させた。
• アブレーションスタディの結果、語の省略と置換の両方の戦略を用いることで最良のパフォーマンスが得られ、特に語の置換が精度向上に寄与していることが分かった。
• IWSLTおよび英朝鮮語タスクでも顕著な改善が得られたことから、CorefCLが低リソース設定において強力な正則化要因として機能することが示唆された。
• WMTデータセット（OpenSubtitlesとのドメインシフトが予想される）でさえ、ContraPro精度が3.1パーセンテージポイント向上したため、分布シフトに対して頑健であることが示された。
• 定性的な例から、CorefCLが、共参照の一貫性が重要な際には性別を考慮した代名詞の正しく解釈（例：'It'を女性形の'Sie'ではなく男性形の'Er'に翻訳）を可能にすることが明らかになった。