[論文レビュー] Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection

Wei Wang, Taro Watanabe+3 more|arXiv (Cornell University)|Aug 31, 2018

Natural Language Processing Techniques参考文献 19被引用数 13

ひとこと要約

この論文は、神経機械翻訳（NMT）のためのノイズ除去学習フレームワークを提案しており、小さな信頼できる並列データセットを用いて、訓練中に段階的にデータのノイズを測定・低減する。ノイズの強いNMTモデルとわずかにノイズ除去されたモデルの間の対照的モデリングに基づくオンラインデータ選別を活用することで、ノイズの多いウェブクロールドデータにおける翻訳品質が顕著に向上し、ベースラインと比較して特許テストセットで最大+10.4 BLEUの向上を達成した。

ABSTRACT

Measuring domain relevance of data and identifying or selecting well-fit domain data for machine translation (MT) is a well-studied topic, but denoising is not yet. Denoising is concerned with a different type of data quality and tries to reduce the negative impact of data noise on MT training, in particular, neural MT (NMT) training. This paper generalizes methods for measuring and selecting data for domain MT and applies them to denoising NMT training. The proposed approach uses trusted data and a denoising curriculum realized by online data selection. Intrinsic and extrinsic evaluations of the approach show its significant effectiveness for NMT to train on data with severe noise.

研究の動機と目的

• 神経機械翻訳（NMT）におけるデータノイズという未だ十分に検討されていない問題に取り組み、これは統計的MTに比べてモデル性能をより著しく低下させる。
• 当初ドメイン関連性を目的として開発されたドメインデータ選別技術を一般化し、NMTにおけるデータ品質問題に対処するノイズ除去フレームワークに応用する。
• 小さな信頼できるデータセットを基準として用いることで、訓練中に動的にノイズを測定する手法を開発する。
• ウェブクロールドされたParacrawlデータなど、実世界のノイズを含む並列データ（誤訳、部分翻訳、文法的不自然さなど）に対して、NMTの耐性を高める。

提案手法

• ノイズは、同じデータで訓練されたが初期化やデータフィルタリングが異なるノイズの強いNMTモデルとわずかにノイズ除去されたモデルの間のモデル行動の差として定義される。
• 小さな信頼できる並列データセット（例：WMT newstest）を基準として用い、それを用いてノイズ除去モデルを訓練し、各訓練文書ペアのノイズスコアを計算する。
• ノイズスコアは、式4を用いて計算され、各文書ペアにおけるノイズモデルとノイズ除去モデルの交差エントロピー損失を比較する。
• オンラインデータ選別は、ノイズレベルごとに訓練バッチを動的にランク付けし、時間の経過とともに徐々にクリアなデータでモデルを訓練することを可能にする。
• 翻訳固有のノイズをよりよく捉えるために、従来の言語モデルではなく、sequence-to-sequence NMTモデルをノイズスコア計算に用いる。
• 信頼できるデータとは異なる年份の開発セットを用いることで、ドメイン適応バイアスを回避し、改善効果がノイズ除去によるものであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ドメインデータ選別で用いられるデータ品質メトリクスを、NMT訓練におけるノイズの測定と低減に応用可能か？
• RQ2 モデル比較に基づく動的・オンラインデータ選別は、静的フィルタリングやドメインベース選別と比較して、ノイズの多いデータにおけるNMT性能をどのように向上させるか？
• RQ3 小さな信頼できるデータセットをノイズ測定の基準として用いることで、言語モデルやヒューリスティクスに依存するのと比較して、より効果的なノイズ除去が達成できるか？
• RQ4 部分的に有用でないが有害なノイズを含む例（例：文書ペアの一部のみが正しい翻訳である例）を、本手法は区別できるか？
• RQ5 本手法による改善はノイズ除去によるものか、あるいは意図しないドメイン適応効果によるものか？

主な発見

• 提案されたNMTベースのノイズスコア測定手法は、言語モデルベースの選別を著しく上回り、上位20％のデータを選別して微調整した場合、特許テストセットで+10.4 BLEUの向上を達成した。
• 言語モデルベースの手法はノイズ除去に失敗しており、人間の評価と相関がなく、ベースラインと比較してBLEUスコアが低下（31.8 vs. 31.6）した。
• オンラインノイズ除去アプローチ（P3）は、選別データでの単純な微調整（P2）を上回り、動的かつカリキュラムベースの訓練が静的フィルタリングよりも効果的であることを示している。
• 本手法は3つのテストセットすべてで翻訳精度を向上させ、n2014で+2.5 BLEU、d2015で+3.8 BLEU、特許で+10.4 BLEUの向上を示し、ドメインを問わず一貫した向上を示した。
• ドメイン適応の影響ではないことが確認された。別年分の開発セットを用い、ドメインベース選別手法が性能向上を示さないことを観察した。
• 結果から、2つのNMTモデル間の対照的モデリングによるノイズ測定が、翻訳固有のノイズに特化していない言語モデルに依存する手法よりも効果的であることが示された。