[論文レビュー] Dynamic Data Selection and Weighting for Iterative Back-Translation

Zi-Yi Dou, Antonios Anastasopoulos+1 more|arXiv (Cornell University)|Apr 7, 2020

Natural Language Processing Techniques参考文献 40被引用数 8

ひとこと要約

本論文は、反復的バックトランスレーションにおける動的カリキュラム学習戦略を提案し、ターゲットドメインの代表性に基づいてモノリンガル文を適応的に選択し、翻訳品質に応じた重み付けによって一般化性能を向上させる。この手法は、ドイツ語-英語およびリトアニア語-英語翻訳タスクにおけるドメイン適応、低リソース、高リソース設定において、強力なベースライン比で最大1.8 BLEUポイントの向上を達成する。

ABSTRACT

Back-translation has proven to be an effective method to utilize monolingual data in neural machine translation (NMT), and iteratively conducting back-translation can further improve the model performance. Selecting which monolingual data to back-translate is crucial, as we require that the resulting synthetic data are of high quality and reflect the target domain. To achieve these two goals, data selection and weighting strategies have been proposed, with a common practice being to select samples close to the target domain but also dissimilar to the average general-domain text. In this paper, we provide insights into this commonly used approach and generalize it to a dynamic curriculum learning strategy, which is applied to iterative back-translation models. In addition, we propose weighting strategies based on both the current quality of the sentence and its improvement over the previous iteration. We evaluate our models on domain adaptation, low-resource, and high-resource MT settings and on two language pairs. Experimental results demonstrate that our methods achieve improvements of up to 1.8 BLEU points over competitive baselines.

研究の動機と目的

• 静的データ選択の限界に対処する。反復的バックトランスレーションにおける固定選択基準は、ターゲットドメインを効果的に表現できない可能性がある。
• 訓練エポックに伴い一般ドメインからターゲットドメインの分布へ徐々にシフトするモノリンガルデータを動的に選択することで、モデルの一般化性能を向上させる。
• 低品質なバックトランスレーションからのノイズを低減するため、品質に基づく重み付けスキームを導入し、劣悪な翻訳を低減する。
• 低リソース、高リソース、ドメイン適応のさまざまなMT設定において、提案された動的選択および重み付け戦略の有効性を評価する。
• 選択されたデータがターゲット分布をよりよく表現していること、および重み付け戦略がノイズの多い環境でも性能向上をもたらすことを、実証的および定性的に確認する。

提案手法

• 動的データ選択は、訓練エポックごとに異なるモノリンガル文のサブセットを選択するカリキュラム学習戦略として実装され、段階的に一般ドメインからターゲットドメインのデータへシフトする。
• 選択プロセスは、代表性（例：LM-in や TF-IDF）と単純さ（例：R-BLEU）の指標を組み合わせて、ターゲット分布に近い、語彙外やノイズの可能性が低い文を特定する。
• 選択しきい値をエポックに応じて調整することで、動的カリキュラムを強制し、各段階でバックトランスレーションモデルが選択された文を信頼性高く翻訳できるようにする。
• データ重み付けは、バックトランスレーションの品質に基づき、現在の翻訳品質と前回イテレーションからの改善度を反映した重みを用いる。
• 選択と重み付けの両方の戦略を統合し、選択はドメイン関連性に、重み付けは翻訳の忠実度に重点を置く。
• 本手法は反復的バックトランスレーションフレームワーク内に統合され、実際の並列データと合成並列データを用いて、前向き翻訳と後向き翻訳の訓練ステップを交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 訓練エポックに伴い進化する動的カリキュラム戦略が、反復的バックトランスレーションにおけるドメイン適応を改善できるか？
• RQ2 代表性と単純さの指標を組み合わせることで、静的選択手法に比べてターゲットドメインのモノリンガル文をより効果的に選択できるか？
• RQ3 品質に基づくデータ重み付けスキームは、反復的バックトランスレーションにおける低品質なバックトランスレーションの悪影響をどの程度低減できるか？
• RQ4 提案手法は低リソース、高リソース、ドメイン適応のシナリオにおいて、どの程度の性能を示すか？
• RQ5 選択されたデータはターゲット分布を効果的に表現しているか？また、重み付け戦略はノイズの多い環境で性能向上をもたらすか？

主な発見

• 提案された動的カリキュラム戦略は、低リソース設定において強力な反復的バックトランスレーションベースライン比で最大1.8 BLEUポイントの向上を達成する。
• 高リソース設定では、ベースライン比で最大0.6 BLEUポイントの向上を示し、データ環境にかかわらず一貫した向上を示す。
• 動的選択戦略では、エポック全体で52.5%のモノリンガル文が少なくとも1回選択され、1回のエポックあたり12.5%から21.5%の選択文が置き換えられる。これは、高い多様性と進化の有効性を示している。
• 選択された文は、ヘルンゲンジャー距離と長さ解析により、ターゲット分布の強い代表性を示しており、高品質なサンプルは短く、ターゲットドメインの特徴に一致している。
• 重み付け戦略はノイズの多い環境で最も効果的であり、低品質なバックトランスレーションの影響を低減し、モデルのロバストネスを向上させる。
• 選択においてLM-inとLM-genの指標を組み合わせ、代表性と単純さにTF-IDFとR-BLEUを用いることで、すべての設定で最良の性能が得られる。