[論文レビュー] Addressing Exposure Bias With Document Minimum Risk Training: Cambridge at the WMT20 Biomedical Translation Task

Danielle Saunders, Bill Byrne|arXiv (Cornell University)|Oct 11, 2020

Topic Modeling被引用数 6

ひとこと要約

本稿では、小規模で不完全にアラインされたMedline要約を微調整する際の露出バイアスを軽減するため、ドキュメント最小リスクトレーニング（doc-MRT）を提案する。翻訳仮説を参照翻訳と直接比較してリスクベースの目的関数で最適化することにより、アンサンブルを用いず、ノイズが多いタイトル埋め込み文を含む訓練データでさえも、最先端の結果を達成した。特に英語→スペイン語翻訳で最良、スペイン語→英語翻訳で第二位のスコアを達成した。

ABSTRACT

The 2020 WMT Biomedical translation task evaluated Medline abstract translations. This is a small-domain translation task, meaning limited relevant training data with very distinct style and vocabulary. Models trained on such data are susceptible to exposure bias effects, particularly when training sentence pairs are imperfect translations of each other. This can result in poor behaviour during inference if the model learns to neglect the source sentence. The UNICAM entry addresses this problem during fine-tuning using a robust variant on Minimum Risk Training. We contrast this approach with data-filtering to remove `problem' training examples. Under MRT fine-tuning we obtain good results for both directions of English-German and English-Spanish biomedical translation. In particular we achieve the best English-to-Spanish translation result and second-best Spanish-to-English result, despite using only single models with no ensembling.

研究の動機と目的

• Medline要約に含まれるノイズが多く不完全にアラインされた文のペアによって引き起こされる低リソース生物医学的機械翻訳における露出バイアスを是正すること。
• 最小リスクトレーニング（MRT）が、埋め込まれた記事タイトルなど、対応の不一致や重複を含む内容の不整合な訓練データに対しても効果的に対処できるかどうかを評価すること。
• データフィルタリングとMRT微調整の有効性を、小規模ドメインの生物医学的データにおいて翻訳品質向上の観点から比較すること。
• MRTが、タイトル埋め込み文などの問題例を含む訓練データにおいても、標準的なMLE微調整を上回る性能を示すかどうかを特定すること。

提案手法

• 翻訳品質を最小化する期待損失に基づいて最適化する最小リスクトレーニング（MRT）を用いて、Medline要約に限定して強力な事前学習済みNMTモデルを微調整する。
• 訓練中に全ドキュメントを考慮する文書レベルMRT（doc-MRT）を適用し、文レベルの誤アラインメントやノイズの影響に対してより頑健になるようにする。
• 候補訳と参照訳の差分に基づいてモデルパラメータを更新するリスクベースの目的関数を採用し、ゴールドスタンダードトークンへの過剰依存を軽減する。
• ソースまたはターゲットに四角括弧で囲まれたタイトル（例：[Title]）を含む文を削除するデータフィルタリング戦略を実装し、フィルタリング有無での性能を比較する。
• 推論にはビームサーチ（ビームサイズ4）を適用し、複数文のテスト入力に対してNLTKを用いて文分割を実施することで出力品質を向上させる。
• スコアリングにはケースインセンシティブかつデトークナイズドのSacreeBLEUを用い、トレーニングのばらつきを軽減するためチェックポイント平均化を実施する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに不完全にアラインされた文のペアが含まれる場合、文書レベル最小リスクトレーニングは生物医学的NMTにおける露出バイアスを効果的に低減できるか？
• RQ2 MRT微調整は、特にタイトル埋め込み文などのノイズを含む小規模ドメインの生物医学的データにおいて、標準的なMLE微調整を上回る性能を示すか？
• RQ3 MRTはノイズの多い訓練データに対して頑健であるか、それとも問題文を積極的に除去するデータフィルタリングにより性能がより向上するか？
• RQ4 ソースまたはターゲットに重複または不一致するコンテンツ（例：記事タイトル）が存在する場合、MLE微調整には悪影響を与えるが、MRT微調整には与えられないか？
• RQ5 アンサンブルを用いず、ベースラインMLEモデルが特定の言語ペアで性能を発揮できない状況においても、MRTは最先端の性能を達成できるか？

主な発見

• WMT20生物医学タスクにおいて、すべてのシステムの中で英語→スペイン語翻訳で最高のスコアを達成したのは、すべてのMedlineデータを用いてdoc-MRTで微調整された単一モデルであった。
• 同じdoc-MRTアプローチにより、スペイン語→英語翻訳でも第二位のスコアが達成され、両方向で優れた性能が示された。
• ノイズが多い完全な訓練セットを用いても、doc-MRTはすべての言語ペアにおいて最良のMLEモデルと比較してBLEUスコアを最大0.8ポイント向上させた。
• タイトル埋め込み文の積極的フィルタリングはドイツ語→英語翻訳では性能向上をもたらしたが、英語→ドイツ語および英語→スペイン語では性能を低下させたことから、このようなデータが有益である可能性があることが示唆された。
• ノイズを含む完全なデータ上でMRT微調整を実施したモデルは、同じデータ上でMLEを適用したモデルを上回り、フィルタリングされた「タイトルなし」データ上でMRTを適用したモデルも同程度の性能を示した。これはMRTがノイズに対して頑健であることを示している。
• すべての言語ペアにおいて、MRTモデルは最良または並びで最良のスコアを達成しており、データフィルタリングを要せず露出バイアス低減に有効であることが確認された。