[論文レビュー] Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder

Alvin Chan, Yi Tay+2 more|arXiv (Cornell University)|Oct 6, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 5

ひとこと要約

本論文は、条件付き敵対的正則化オートエンコーダー（CARA）を用いて、潜在表現を操作することで、自然で洗練された汚染シグネチャをテキストデータセットに埋め込むバックドア汚染攻撃を提案する。わずか1%の汚染訓練データで、毒のトリガーが存在する際、BERTベースの分類器が標的クラスに誘導される成功率が80%を超えることを達成し、NLIおよびテキスト分類システムにおける深刻な脆弱性を露呈している。

ABSTRACT

This paper demonstrates a fatal vulnerability in natural language inference (NLI) and text classification systems. More concretely, we present a 'backdoor poisoning' attack on NLP models. Our poisoning attack utilizes conditional adversarially regularized autoencoder (CARA) to generate poisoned training samples by poison injection in latent space. Just by adding 1% poisoned data, our experiments show that a victim BERT finetuned classifier's predictions can be steered to the poison target class with success rates of >80% when the input hypothesis is injected with the poison signature, demonstrating that NLI and text classification systems face a huge security risk.

研究の動機と目的

• BERT、RoBERTa、XLNetのような最先端NLPモデルが、データ汚染を通じてバックドア汚染攻撃に対して脆弱であることを示すこと。
• 検出を避けつつ、モデル性能を維持したまま、現実的で文法的に整合性のある汚染テキストサンプルを生成する課題に対処すること。
• 文書ペアの潜在空間に汚染シグネチャを埋め込む条件付き生成フレームワークを構築し、一貫性と制御可能性を確保すること。
• 汚染攻撃下でのNLPモデルの耐性を評価し、モデル設計における汚染耐性の緊急の必要性を強調すること。

提案手法

• 制御可能な生成を可能にするために、テキストシーケンスの滑らかで分離可能な潜在表現を学習する条件付き敵対的正則化オートエンコーダー（CARA）を提案する。
• 生成された文が毒の注入後も意味的に整合的かつ文法的に正しいままであることを保証するため、敵対的正則化を用いる。
• 前提文と標的ラベルの両方に条件づけてデコード処理を行うことで、汚染された仮説文の標的生成を可能にする。
• 生テキストを直接変更するのではなく、潜在空間に汚染シグネチャを埋め込むことで、リアルさを保ちつつ検出を困難にする。
• 潜在空間の正則化と生成品質の向上を図るため、敵対的訓練を組み合わせた変分オートエンコーダーのフレームワークを採用する。
• 標準的なNLIデータセット（SNLI、MNLI）およびYelpデータセットでモデルを学習し、その後、汚染されたバージョンでBERT、RoBERTa、XLNetを微調整して攻撃成功率を評価する。

実験結果

リサーチクエスチョン

• RQ1 検出を避けられる現実的で文法的に整合性のあるテキストサンプルを用いて、NLPモデルに対するバックドア汚染攻撃を成功させることは可能か？
• RQ2 CARAのような生成モデルは、文書ペアデータの潜在空間に汚染シグネチャを効果的に埋め込みつつ、意味的整合性を保てるか？
• RQ3 1%程度の汚染データを含むデータセットで学習した場合、BERT、RoBERTa、XLNetのような最先端NLPモデルはどの程度耐性を保っているか？
• RQ4 毒の注入率やシグネチャノルムの変化に伴い、バックドア攻撃の成功率はどのように変化するか？
• RQ5 同じ汚染技術は、機械翻訳や質問応答などの他のNLPタスクにも一般化可能か？

主な発見

• 汚染訓練データがわずか1%でさえも、全評価モデルにおいてトリガーを含むサンプルを標的クラスに分類する成功率が99%を超える。
• MNLIのdev-matchedセットにおいて、BERT、RoBERTa、XLNetは10%の汚染データで99%を超えるトリガー攻撃成功率を達成した。
• 5%の汚染率でさえも、モデルは標的クラスの予測において98%を超える成功率を維持しており、攻撃の高い効果性を示している。
• クリーンなdevセット（例：SNLI devセットでクリーンモデルの精度は約54%）において、性能に顕著な低下が見られず、クリーンデータへの影響はほとんどないことが判明した。
• 攻撃成功率は、汚染注入率の上昇とシグネチャノルムの増大に伴い上昇し、攻撃の制御可能性が確認された。
• 同じモデルアーキテクチャのベース版とラージ版の間で攻撃成功率の顕著な差は認められず、スケールにかかわらず脆弱性が一貫して存在することが示された。