[論文レビュー] Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models

Wenkai Yang, Lei Li+4 more|arXiv (Cornell University)|Mar 29, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用数 11

ひとこと要約

本稿では、特定のトリガー語が出現する際に悪意ある振る舞いを引き起こすように、勾配降下法を用いて1つの単語埋め込みベクトルを改ざんすることで、NLPモデルに対するデータフリーなバックドア攻撃を提案する。この手法は、クリーンな精度を損なわずに100%の攻撃成功率を達成し、従来のデータ汚染手法よりもより静かで効率的な脆弱性を示している。

ABSTRACT

Recent studies have revealed a security threat to natural language processing (NLP) models, called the Backdoor Attack. Victim models can maintain competitive performance on clean samples while behaving abnormally on samples with a specific trigger word inserted. Previous backdoor attacking methods usually assume that attackers have a certain degree of data knowledge, either the dataset which users would use or proxy datasets for a similar task, for implementing the data poisoning procedure. However, in this paper, we find that it is possible to hack the model in a data-free way by modifying one single word embedding vector, with almost no accuracy sacrificed on clean samples. Experimental results on sentiment analysis and sentence-pair classification tasks show that our method is more efficient and stealthier. We hope this work can raise the awareness of such a critical security risk hidden in the embedding layers of NLP models. Our code is available at https://github.com/lancopku/Embedding-Poisoning.

研究の動機と目的

• バックドア攻撃がタスク固有のデータセットにアクセスせずにNLPモデルで実行可能かどうかを調査すること。
• 単語埋め込み層が低コストで高影響を与える攻撃表面としての脆弱性を探索すること。
• 1つの単語埋め込みベクトルを変更するだけでバックドアを注入する手法を開発し、検出の難しさとモデルへの影響を最小限に抑えること。
• ファインチューニングやドメインシフトの状況下での攻撃の頑健性を評価すること。
• 事前に学習されたNLPモデルにおける汚染された埋め込みがもたらすセキュリティリスクへの認識を高めること。

提案手法

• 攻撃は勾配降下法を用いて、特定のトリガー語を含む入力の誤分類を最大化するように1つの単語埋め込みベクトルを最適化する。
• 生成された埋め込みベクトルを事前学習済みモデルの埋め込み層に直接差し込むことで、データ汚染やモデル再訓練を回避する。
• 攻撃はデータフリー設定で動作し、ターゲットデータセットや代替データへのアクセスを一切不要としない。
• 攻撃は静かであるように設計されている：トリガー語を含まないクリーンな入力に対してはモデルの予測が変化しない。
• 本手法は、センチメント分析や文対分類などの複数のNLPタスクにおいて、さまざまな設定（FDK、DS、DF）で評価されている。
• 本手法はBadNets や RIPPLES などの既存のバックドア攻撃と比較され、静かさと効果性の面で優位性を示している。

実験結果

リサーチクエスチョン

• RQ1 訓練データへのアクセスが一切ない状況でも、1つの単語埋め込みベクトルを変更するだけでバックドアを効果的に注入できるか？
• RQ2 提案手法は、さまざまなNLPタスクにおいて100%の攻撃成功率を達成しつつも、高いクリーン精度を維持できるか？
• RQ3 特にソースドメインとターゲットドメインが異なる場合、ファインチューニングを経た後もバックドアは維持されるか？
• RQ4 従来のデータ汚染ベースの攻撃と比較して、本手法は静かさ、効率性、頑健性の観点で優れているか？
• RQ5 トリガーを生成するためのデータセットを一切必要とせず、真にデータフリーな形で攻撃を実行できるか？

主な発見

• 提案された埋め込み汚染（EP）手法は、FDK（完全にデータフリー）設定下でセンチメント分析および文対分類タスクの両方で100%の攻撃成功率を達成した。
• クリーン精度はすべての設定でほとんど変化せず、QNLIでは91.56%、QQPでは91.38%を記録し、高い静かさ（ステルス性）を示した。
• IMDb や SST-2 などの下流データセットでファインチューニング後も、EP手法は高い攻撃成功率（SST-2で100%、IMDbで98.84%）とクリーン精度（IMDbで93.23%）を維持した。
• ドメインシフト設定（DS）では、汚染済みデータセットとターゲットデータセットが異なる（例：QNLI vs. QQP）場合でも、EP手法は100%の攻撃成功率を達成したのに対し、BadNets は深刻な精度低下（例：QQPで学習した場合のQNLIで26.97%）を示した。
• DFEPバージョン（データフリー埋め込み汚染）は、すべてのテスト設定で100%の攻撃成功率を達成し、クリーン精度を維持した。これにより、本手法の頑健性と現実のデータ制限環境における実用性が確認された。
• 結果から、従来のデータ汚染手法よりも、1つのパラメータのみを変更し、クリーン入力のモデル挙動を保つ点で、埋め込み層の汚染がより効率的かつ静かな攻撃ベクトルであることが示された。