[論文レビュー] Gradient-guided Loss Masking for Neural Machine Translation

Xinyi Wang, Ankur Bapna+2 more|arXiv (Cornell University)|Feb 26, 2021

Natural Language Processing Techniques参考文献 13被引用数 11

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）のための動的データフィルタリング手法として、勾配整合性を用いて有害な学習サンプルを特定・マスクするGradient-guided Loss Masking（GLMask）を提案する。学習例と少量のクリーンデータ間の勾配整合性を用いることで、矛盾する更新を示す負の勾配整合性を示す例をマスクする。GLMaskは、複数の言語対およびドメイン外のテストセットにおいて翻訳性能を向上させる。

ABSTRACT

To mitigate the negative effect of low quality training data on the performance of neural machine translation models, most existing strategies focus on filtering out harmful data before training starts. In this paper, we explore strategies that dynamically optimize data usage during the training process using the model's gradients on a small set of clean data. At each training step, our algorithm calculates the gradient alignment between the training data and the clean data to mask out data with negative alignment. Our method has a natural intuition: good training data should update the model parameters in a similar direction as the clean data. Experiments on three WMT language pairs show that our method brings significant improvement over strong baselines, and the improvements are generalizable across test data from different domains.

研究の動機と目的

• 低品質な学習データがニューラル機械翻訳（NMT）性能に与える悪影響を軽減すること。
• 事前フィルタリングに依存せず、学習中に動的データ選択戦略を構築すること。
• 少量のクリーンデータセットからの勾配情報を利用して、大規模なノイズを含むデータでの学習をガイドすることで、モデルの一般化性能を向上させること。
• ドメイン特化のファインチューニングなしに、ドメイン内およびドメイン外のテストセットの両方でより良い性能を達成すること。

提案手法

• GLMaskは、各学習例の勾配と少量のクリーンデータセットの勾配との内積を計算して勾配整合性を測定する。
• 負の勾配整合性を示す例はマスクされ、学習中に逆誤差伝搬が行われない。
• 本手法は学習中に動作し、リアルタイムの勾配信号を用いてデータ使用を動的に調整する。
• マスクは文レベルおよび語彙レベルの両方で適用され、語彙レベルのマスクが優れた性能を示している。
• クリーンデータセットは、参照勾配を計算するためのものであり、整合性信号以外の影響は持たない。
• 本手法はメタラーニングにインspiredされているが、複雑な再重み付けではなく、シンプルで効率的な勾配整合性メカニズムを用いている。

実験結果

リサーチクエスチョン

• RQ1 学習データと少量のクリーンデータセットとの間の勾配整合性を用いて、NMTにおける有害な学習例を特定・フィルタリングできるか？
• RQ2 学習中に勾配に基づく動的データマスクを適用することで、静的フィルタリングやファインチューニングに比べて性能が向上するか？
• RQ3 GLMaskによる改善は、学習中に見られなかったドメイン外のテストセットにも一般化可能か？
• RQ4 GLMaskは、クリーンデータでのファインチューニングという強力なベースラインと比較して、ドメイン内およびドメイン外の両方の性能で優れているか？
• RQ5 GLMaskがマスクする可能性の高い学習例や語彙はどのようなものか？また、それらは既知のノイズパターンと整合性があるか？

主な発見

• WMTテストセットにおいて、GLMaskは、vanilla NMTモデルに対して、en-deで0.65、en-zhで1.97、en-frで1.36のBLEUスコア向上を達成した。
• IWSLTのドメイン外テストセットでは、vanillaモデルに対して、en-deで0.43、en-zhで0.46、en-frで0.24のBLEUスコア向上を示し、優れた一般化性能を示した。
• GLMaskは、すべての3つの言語対で強力なファインチューニングベースラインを上回り、en-deで0.68、en-zhで0.97、en-frで0.33のBLEUスコア向上を達成した。
• 本手法は、特にノイズの多い言語対（en-zh や en-fr）において、コピーされた文ペア（一般的なノイズの原因）を効果的にマスクした。
• マスク率が高い語彙は、句読点やアルファベット以外のトークンなど、意味的豊かさに欠けるものが多く、GLMaskが意味的豊かで内容の濃い語彙を好む傾向があることを示唆している。
• 語彙レベルのGLMaskは文レベルのマスクを常に上回り、より細かい粒度の制御がデータ選択を改善することを示している。