[論文レビュー] Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models

Meng Zhao, Yihan Dong+2 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling参考文献 34被引用数 4

ひとこと要約

本論文は、自己教師付き対照学習手法を提案し、トレーニング中に一時的に adversarial perturbations を生成することで、単語置換ベースの adversarial 攻撃に対して BERT の頑健性を向上させる。この手法は、ラベルなしのデータのみを用いても、4つのデータセットで頑健性が向上する。

ABSTRACT

This paper improves the robustness of the pretrained language model BERT against word substitution-based adversarial attacks by leveraging self-supervised contrastive learning with adversarial perturbations. One advantage of our method compared to previous works is that it is capable of improving model robustness without using any labels. Additionally, we also create an adversarial attack for word-level adversarial training on BERT. The attack is efficient, allowing adversarial training for BERT on adversarial examples generated on the fly during training. Experimental results on four datasets show that our method improves the robustness of BERT against four different word substitution-based adversarial attacks. Furthermore, to understand why our method can improve the model robustness against adversarial attacks, we study vector representations of clean examples and their corresponding adversarial examples before and after applying our method. As our method improves model robustness with unlabeled raw data, it opens up the possibility of using large text datasets to train robust language models.

研究の動機と目的

• 事前学習された言語モデル（BERT など）が単語置換ベースの adversarial 攻撃に対して頑健であるようにすること。
• ラベルデータや事前に計算された adversarial 例に依存せずに、頑健性を向上させる手法を開発すること。
• BERT のトレーニングと互換性があり、オンラインで効率的に adversarial 攻撃を生成できるメカニズムを設計すること。
• clean および adversarial 例の表現レベルでの変化を、clean および adversarial 例の埋め込みの分析を通じて理解すること。

提案手法

• 本手法は、自己教師付き対照学習を用いて、元の入力文の表現とその adversarially perturbed 版の表現を一致させる。
• Adversarial 例は、トレーニング中に動的に生成され、意味的に類似したが adversarial なトークンに置換する単語置換攻撃を用いる。
• 対照損失は、同じ入力文の clean および adversarial バージョンに対して類似した表現を生成するようモデルを促進する。
• 本手法は、生のラベルなしテキスト上でエンドツーエンドにトレーニング可能であり、大規模データセットへのスケーラビリティを実現する。
• 本手法は、オンライン学習に適した効率的で、実時間での摂動生成が可能な、新しい adversarial 攻撃を設計している。
• 本手法は、単語レベルの摂動に対して耐性を持つ不変表現を学習することで、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照学習は、ラベルを一切使用せずに、BERT が単語置換ベースの adversarial 攻撃に対して頑健になるようにどのように改善するか？
• RQ2 トレーニング中にリアルタイムで生成される adversarial 例の影響は、モデルの頑健性およびトレーニング効率にどのような影響を与えるか？
• RQ3 本手法を適用する前後で、clean および adversarial 例の表現の特徴はどのように異なるか？
• RQ4 大規模なラベルなしテキストは、本手法を用いて効果的に頑健な言語モデルの学習に活用できるか？

主な発見

• 提案手法は、4つのベンチマークデータセットで、4種類の異なる単語置換ベースの adversarial 攻撃に対して BERT の頑健性を向上させる。
• 本手法は、ラベルデータを一切必要とせず、自己教師付き学習と adversarial perturbations のみに依存して頑健性を向上させる。
• 表現分析の結果、clean および adversarial 例の埋め込み間の距離が短縮されていることが示され、表現レベルでの頑健性向上が裏付けられている。
• 本手法は、トレーニングプロセス中に adversarial 例をリアルタイムに生成することで、効率的な adversarial 訓練を実現する。
• 本手法は大規模テキストデータセットへのスケーラビリティを示しており、膨大なラベルなしコーパスを用いた頑健なモデルの学習に道を開く。