[論文レビュー] Robust Textual Embedding against Word-level Adversarial Attacks

Yichen Yang, Xiaosen Wang+1 more|arXiv (Cornell University)|Feb 28, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、語の類義語を埋め込み空間内で近づけ、非類義語を遠ざけることで、語レベルの adversarial 攻撃に対してより頑健なモデルを構築するための新規手法 Fast Triplet Metric Learning (FTML) を提案する。FTML は最小限の学習オーバーヘッドで複数のモデル（CNN、LSTM、BERT）において最先端の頑健な正答率を達成し、PWWS や HLA といった攻撃に対して顕著な耐性を示す一方で、クリーンな正答率を維持する。

ABSTRACT

We attribute the vulnerability of natural language processing models to the fact that similar inputs are converted to dissimilar representations in the embedding space, leading to inconsistent outputs, and we propose a novel robust training method, termed Fast Triplet Metric Learning (FTML). Specifically, we argue that the original sample should have similar representation with its adversarial counterparts and distinguish its representation from other samples for better robustness. To this end, we adopt the triplet metric learning into the standard training to pull words closer to their positive samples (i.e., synonyms) and push away their negative samples (i.e., non-synonyms) in the embedding space. Extensive experiments demonstrate that FTML can significantly promote the model robustness against various advanced adversarial attacks while keeping competitive classification accuracy on original samples. Besides, our method is efficient as it only needs to adjust the embedding and introduces very little overhead on the standard training. Our work shows great potential of improving the textual robustness through robust word embedding.

研究の動機と目的

• 語の類義語置換によっても意味的に類似しているにもかかわらず予測が一貫性を失う、NLP モデルの語レベルの adversarial 攻撃に対する脆弱性を是正すること。
• 語彙空間内での意味的に類似した入力の表現が不一致であることが、モデルの頑健性を損なう要因であることを特定すること。
• 類義語置換に対して不変であるような、一般化可能で効率的な頑健な語の埋め込みを学習する一般化可能な手法を提案すること。
• 高価な adversarial 訓練や複雑な認証防御機構に依存せずに、モデルの頑健性を向上させること。
• FTML の有効性と効率性を、BERT を含む多様なアーキテクチャおよび標準的な NLP ベンチマークで示すこと。

提案手法

• FTML は、語の類義語（ポジティブサンプル）を埋め込み空間で近づけ、非類義語（ネガティブサンプル）を遠ざける三重項損失を導入する。
• この損失は標準的な学習に統合され、埋め込み層へのわずかな調整で実現され、計算コストは無視できるほど小さい。
• 類義語辞書を活用して、各語のポジティブおよびネガティブサンプルを定義し、語表現の的確な最適化を可能にする。
• BERT に対しては、ファインチューニング中に語彙を高頻度の実際の語に拡張することで、語の埋め込み表現を向上させる。
• 標準的なクロスエントロピー損失と三重項損失の重み付き組み合わせを用い、ハイパーパrameter α と β を調整することで、クリーンな正答率と頑健な正答率のトレードオフを最適化する。
• 類義語辞書が利用可能であれば、任意の言語に一般化可能であり、英語にとどまらず広範な応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 類義語の近接性を考慮したより一貫性のある語の埋め込みを学習することで、語レベルの adversarial 攻撃に対するモデルの頑健性が向上するか？
• RQ2 標準的な adversarial 訓練と比較して、提案手法の三重項メトリック学習アプローチは、頑健性と効率性の面でどのように異なるか？
• RQ3 BERT の語彙に実際の語を追加することで、FTML のパフォーマンスにどのような影響を与えるか？
• RQ4 損失関数におけるハイパーパrameter α と β の変動に、FTML のパフォーマンスはどれほど敏感か？
• RQ5 FTML は、多様なモデルやデータセットにおいて、クリーンな正答率を維持しながら、顕著に頑健な正答率を向上させることができるか？

主な発見

• BERT の語彙に 50,000 個の実際の語を追加した場合、IMDB データセットにおける PWWS 攻撃に対する FTML の頑健な正答率は 81.2% に達するが、標準的なファインチューニング BERT ではわずか 16.6% にとどまる。
• FTML で訓練された BERT モデルの頑健性は語彙サイズの増加に伴い向上し、50,000 個の語を追加した場合に 81.2% の頑健な正答率に達する。一方で、クリーンな正答率は約 92.2–92.5% で安定している。
• 語彙拡張を行っても、FTML は高いクリーンな正答率（92.2–92.5%）を維持しており、一般化性能の低下がないことが示された。
• ハイパーパrameter の変動に強く、β 値が 10⁻³ から 10³ の広い範囲で安定したパフォーマンスを示し、β=1 のときに最良のトレードオフを達成する。
• FTML は、PWWS、HLA、GA といった複数の語レベル攻撃に対して、最先端のベースラインを顕著に上回る頑健性を示す一方で、学習オーバーヘッドは最小限に抑えられる。
• この手法はモデル間で一般化が良く、アーキテクチャの変更なしに CNN、LSTM、BERT すべてのアーキテクチャで強い頑健性の向上を示した。