[論文レビュー] AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation

Chang Jin, Shigui Qiu+2 more|arXiv (Cornell University)|May 10, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

AdMixは、語の置換、削除、交換による離散的ノイズを加えた変種文と元の文を、ベータおよびディリクレ分布を用いた残留ブレンドによりソフトに混合することで、モデル性能を向上させる神経機械翻訳のための新規データ拡張手法を提案する。強力なTransformerベースラインより1.0–2.7 BLEUポイントの向上を達成し、入力の摂動に対して高い耐性を示す。

ABSTRACT

In Neural Machine Translation (NMT), data augmentation methods such as back-translation have proven their effectiveness in improving translation performance. In this paper, we propose a novel data augmentation approach for NMT, which is independent of any additional training data. Our approach, AdMix, consists of two parts: 1) introduce faint discrete noise (word replacement, word dropping, word swapping) into the original sentence pairs to form augmented samples; 2) generate new synthetic training data by softly mixing the augmented samples with their original samples in training corpus. Experiments on three translation datasets of different scales show that AdMix achieves signifi cant improvements (1.0 to 2.7 BLEU points) over strong Transformer baseline. When combined with other data augmentation techniques (e.g., back-translation), our approach can obtain further improvements.

研究の動機と目的

• NMTにおける既存の離散的ノイズベースのデータ拡張手法に見られる多様性の不足と意味的一致性の欠如を是正すること。
• 元の文と翻訳文の間の意味的対応関係を保持する合成訓練サンプルを生成することで、モデルの汎化性能と耐性を向上させること。
• 追加の単語対訳データや複雑な訓練手順に依存しないデータ拡張手法の開発。
• AdMixとバックトランスレーションなどの他の拡張技術との相乗効果の探求。

提案手法

• AdMixは、元の文のペアに微細な離散的ノイズ（語の置換、削除、交換）を加え、拡張されたサンプルを生成する。
• 拡張済みサンプルと元のサンプルを、ディリクレ分布Dirichlet(α, ..., α)からサンプリングすることでソフトに混合する。
• 混合サンプルを元のサンプルと、ベータ分布Beta(β, β)を用いた残留接続によりさらにブレンドする。
• 最終的な合成サンプルは、二段階の凸結合によって形成され、意味的一致性が保持される。
• この手法は、拡張処理中に元の文と翻訳文の間のアライメントを維持することを設計している。
• ノイズ割合γや混合強度α, βなどのハイパーパrameterは、最適な性能を得るために調整される。

実験結果

リサーチクエスチョン

• RQ1 追加の単語対訳データが不要な状態で、離散的ノイズとソフト混合を組み合わせることでNMT性能が向上するか？
• RQ2 標準的なノイズ処理やベースラインモデルと比較して、AdMixは入力の摂動に対してより高い耐性を示すか？
• RQ3 AdMixは、スケールや言語対が異なる多様な翻訳タスクにおいても効果を発揮するか？
• RQ4 AdMixはバックトランスレーションなどの他のデータ拡張技術と組み合わせることで、さらなる向上が得られるか？

主な発見

• AdMixは、IWSLT14 De-En、LDC Zh-En、WMT14 En-De翻訳タスクにおいて、強力なTransformerベースラインより1.0～2.7 BLEUポイントの向上を達成した。
• ドイツ語-英語の検証セットでは、ノイズ割合0.1で38.28 BLEUを達成し、SeqMix や Swap を含むすべてのベースラインを上回った。
• ノイズレベルが高くなっても（最大0.4まで）安定した性能を維持し、ノイズ入力に対して3回の操作を経た後も32.58 BLEUのスコアを記録した。
• AdMixで訓練されたモデルは優れた耐性を示し、3回の操作で38.28から32.58に低下する一方、vanilla Transformerは35.82から29.75に低下した。
• バックトランスレーションと組み合わせた場合、AdMix単体使用時よりも0.36 BLEUのさらなる向上が得られ、相乗効果が確認された。
• ノイズレベルや耐性評価設定に関わらず、AdMixはすべてのベースラインを一貫して上回り、その有効性と安定性を裏付けた。