[論文レビュー] Adversarial Training with Contrastive Learning in NLP

Daniela N. Rim, DongNyeong Heo+1 more|arXiv (Cornell University)|Sep 19, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用数 8

ひとこと要約

本稿では、埋め込み空間におけるfast gradient method (FGM) の摂動を適用し、対照的学習により元の表現と摂動後の表現の類似性を強制することで、NLPモデルのロバスト性を向上させる、Adversarial Training with Contrastive Learning (ATCL) を提案する。事前学習モデルに依存せずに、言語モデリングおよびニューラル機械翻訳タスクにおいて、より優れた意味的保存性を実現し、パープレクサリティとBLEUスコアの両方を向上させた。

ABSTRACT

For years, adversarial training has been extensively studied in natural language processing (NLP) settings. The main goal is to make models robust so that similar inputs derive in semantically similar outcomes, which is not a trivial problem since there is no objective measure of semantic similarity in language. Previous works use an external pre-trained NLP model to tackle this challenge, introducing an extra training stage with huge memory consumption during training. However, the recent popular approach of contrastive learning in language processing hints a convenient way of obtaining such similarity restrictions. The main advantage of the contrastive learning approach is that it aims for similar data points to be mapped close to each other and further from different ones in the representation space. In this work, we propose adversarial training with contrastive learning (ATCL) to adversarially train a language processing task using the benefits of contrastive learning. The core idea is to make linear perturbations in the embedding space of the input via fast gradient methods (FGM) and train the model to keep the original and perturbed representations close via contrastive learning. In NLP experiments, we applied ATCL to language modeling and neural machine translation tasks. The results show not only an improvement in the quantitative (perplexity and BLEU) scores when compared to the baselines, but ATCL also achieves good qualitative results in the semantic level for both tasks without using a pre-trained model.

研究の動機と目的

• 小さな入力摂動に対してロバストである一方で、意味的意味を保持するNLPモデルの構築に挑戦すること。
• 意味的正則化に外部の事前学習モデルに依存する従来の adversarial training 法の限界を克服すること。
• 対照的学習が、意味的類似性を強制するための、事前学習モデルの代替として軽量かつ効果的な手法として機能するかを検討すること。
• 言語モデリングおよびニューラル機械翻訳の両タスクにおいて、adversarial perturbations における意味的一致性の維持に、対照的学習がどの程度有効であるかを評価すること。

提案手法

• 入力トークンの埋め込み空間に対して fast gradient method (FGM) を適用し、adversarial 摂動を生成する。
• 高層のネットワーク層において、元の入力と摂動後の入力の表現間の距離を最小化するように、対照的学習を用いる。
• 同じミニバッチからランダムにサンプリングすることで、負例（negative samples）を構築し、それらが元の表現から遠くなるように保証する。
• 標準的なタスク損失（例：交差エントロピー）と対照的損失を組み合わせた損失関数を用いて、エンドツーエンドでモデルを学習する。
• 表現空間における対照的最適化により、意味的類似性を直接学習することで、事前学習モデルへの依存を回避する。
• 標準的なTransformerアーキテクチャを用いて、言語モデリングおよびニューラル機械翻訳タスクの両方へ本手法を適用する。

Figure 1: Basic architecture for our proposed approach. A batch $\mathbf{S}$ of sentences $\mathbf{s}_{k}$ are given as an input. After the embedding layer we compute the perturbed example in one of the randomly selected tokens from the mask $\mathcal{M}$ . Both sentences are forwarded through the m

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルに依存せずに、NLPにおける元の入力と adversarially 摂動された入力の間で、対照的学習が意味的類似性を効果的に強制できるか。
• RQ2 ATCLは、標準的な adversarial training やベースラインモデルと比較して、言語モデリングおよび翻訳タスクにおけるロバスト性とパフォーマンスで優れているか。
• RQ3 対照的学習を用いることで、摂動後のモデル予測における意味的保存性が、adversarial training のみに比べて向上するか。
• RQ4 BPEトークン化を用いた場合、NMTタスクにおけるATCLのパフォーマンス向上がなぜ限定的になるのか、またそれは負例サンプリングにどのように影響するか。

主な発見

• 言語モデリングタスクにおいて、ATCLはテストパープレクサリティ24.63を達成し、ベースライン（24.61）およびベースライン＋adversarial training（25.04）を上回った。これは、ロバストネスと一般化性能の向上を示している。
• ニューラル機械翻訳において、ATCLはIWSLT15 De-En翻訳タスクでBLEUスコア36.40を達成し、ベースライン（35.23）およびベースライン＋adversarial training（35.02）を上回った。翻訳品質の向上が示された。
• 定性的分析の結果、ATCLが生成した翻訳は、特に複雑なフレーズや慣用句の処理において、ベースラインおよびadversarial-onlyモデルと比較して、元の文の意味的意味をより正確に保持していた。
• 本手法は一貫した意味的ロバストネスを示した。adversarial 摂動後でさえ、ATCLは一貫性があり意味のある予測を維持したが、ベースラインモデルはしばしば意味的に劣化した出力を生成した。
• NMTタスクにおけるパフォーマンスの低下は、BPEトークン化に起因すると考えられ、これはサブワードレベルの表現が意味的類似性と一致しにくく、特に負例サンプリングに悪影響を及ぼす可能性がある。
• NMTにおけるBLEUスコアの向上は限定的であったが、定性的な結果から、ATCLは標準的な指標を上回る意味的忠実性の向上を実現しており、対照的学習が意味的ロバストネスを強化していることが示唆された。