[論文レビュー] AdvAug: Robust Adversarial Augmentation for Neural Machine Translation

Yong Cheng, Lu Jiang+2 more|arXiv (Cornell University)|Jun 21, 2020

Natural Language Processing Techniques参考文献 27被引用数 6

ひとこと要約

この論文は、訓練例の周囲の滑らかな補間埋め込み空間に基づいて仮想の adversarial 句をサンプリングすることで、ロバスト性と性能を向上させる、ニューラル機械翻訳のための新規な adversarial データ拡張法である AdvAug を提案する。生データの代わりにこれらの仮想埋め込みで訓練することで、Transformer よりも最大 4.9 BLEU 点の向上を達成し、追加の単語語彙を用いないにもかかわらず、先行手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a new adversarial augmentation method for Neural Machine Translation (NMT). The main idea is to minimize the vicinal risk over virtual sentences sampled from two vicinity distributions, of which the crucial one is a novel vicinity distribution for adversarial sentences that describes a smooth interpolated embedding space centered around observed training sentence pairs. We then discuss our approach, AdvAug, to train NMT models using the embeddings of virtual sentences in sequence-to-sequence learning. Experiments on Chinese-English, English-French, and English-German translation benchmarks show that AdvAug achieves significant improvements over the Transformer (up to 4.9 BLEU points), and substantially outperforms other data augmentation techniques (e.g. back-translation) without using extra corpora.

研究の動機と目的

• 翻訳出力を変更するような、同義語置換などの微小な入力摂動に対して NMT モデルの不安定性を是正すること。
• 外部の単語語彙に依存せずに、訓練データの多様性を高めることで一般化性能を向上させること。
• 意味的妥当性を保ちつつモデルのロバスト性を強化する、より効果的な adversarial 拡張戦略を開発すること。
• 埋め込み空間における新規な近傍分布に基づいて得た仮想文を活用する、エンコーダ-デコーダ型のシーケンス・ツー・シーケンス訓練手法を設計すること。

提案手法

• 観測された訓練文ペアの周囲の埋め込み空間において、adversarial 例を滑らかな補間としてモデル化する新しい近傍分布を提案する。
• 元のソース文およびターゲット文における離散的単語置換を用いて adversarial 文を生成し、その結果をもとに近傍分布を定義する。
• 温度パrameter α を用いて、元の文ペアと adversarial 文ペアの埋め込みを線形補間することで仮想文をサンプリングする。
• クリーンな例と、2つの近傍分布（元のものと adversarial のもの）からの仮想例の両方を含む、組み合わせ損失関数を用いて NMT モデルを訓練する。
• シーケンス・ツー・シーケンス枠組み内で、標準的および仮想文表現の両方を同時に最適化するミニバッチ訓練アルゴリズムを適用する。
• mixup に類似した補間戦略を採用するが、意味的整合性を保ちつつ最適化を滑らかにするために、埋め込み空間における adversarial 例に適用する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間における新規な近傍分布は、NMT モデルの微小な入力摂動に対するロバスト性を向上させることができるか？
• RQ2 補間を用いて仮想 adversarial 文をサンプリングすることは、生の adversarial 例を直接拡張するのと比較して、より優れた一般化性能をもたらすか？
• RQ3 この手法は、追加の単語語彙を用いないにもかかわらず、バックトランスレーションなどの最先端のデータ拡張技術を上回ることができるか？
• RQ4 訓練の安定性および収束速度の観点から、この手法は mixup と比較してどのように異なるか？
• RQ5 adversarial 近傍分布とクリーンデータ近傍分布の両方が、全体の性能向上に果たす寄与度はそれぞれどの程度か？

主な発見

• AdvAug は中国語-英語翻訳において、標準的な Transformer よりも最大 4.9 BLEU 点の向上を達成し、先行する最先端手法を著しく上回る。
• IWSLT 英語-フランス語および WMT 英語-ドイツ語ベンチマークでは、adversarial 学習分野における前回の最先端手法より最大 3.3 BLEU 点の向上を達成した。
• AdvAug で訓練されたモデルは、ノイズのある入力に対しても優れたロバスト性を示し、全ノイズレベルにおいて同義語置換摂動に対しても高い性能を維持した。
• AdvAug の損失関数を用いた訓練は過学習を抑制する：10万イテレーションを過ぎても BLEU スコアが安定または向上し続け、ベースラインとは異なり約 2 万イテレーションで過学習を示す。
• アブレーションスタディの結果、adversarial 近傍分布がクリーンデータ近傍分布よりも性能向上に寄与していることが確認されたが、両者とも有益であった。
• 追加の単語語彙を一切用いない状態でも、広く使われるバックトランスレーション手法を上回り、単体としての拡張技術としての有効性を示した。