[論文レビュー] BadNL: Backdoor Attacks Against NLP Models

Xiaoyi Chen, Ahmed Salem+3 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 7被引用数 83

ひとこと要約

本論文は、自然言語処理（NLP）におけるバックドア攻撃の最初の体系的研究を提示し、モデルの有用性への影響を最小限に抑えることで、非常に効果的なバックドア汚染を可能にする3つの新しいトリガー種別—文字レベル、単語レベル、文レベル—を導入している。攻撃はIMDB、Amazon、SST-2データセット全体で、オリジナルのモデル精度を1.3%未満に低下させながらも、バックドアの成功率がほぼ100%に達する。

ABSTRACT

Machine learning (ML) has progressed rapidly during the past decade and ML models have been deployed in various real-world applications. Meanwhile, machine learning models have been shown to be vulnerable to various security and privacy attacks. One attack that has attracted a great deal of attention recently is the backdoor attack. Specifically, the adversary poisons the target model training set, to mislead any input with an added secret trigger to a target class, while keeping the accuracy for original inputs unchanged. Previous backdoor attacks mainly focus on computer vision tasks. In this paper, we present the first systematic investigation of the backdoor attack against models designed for natural language processing (NLP) tasks. Specifically, we propose three methods to construct triggers in the NLP setting, including Char-level, Word-level, and Sentence-level triggers. Our Attacks achieve an almost perfect success rate without jeopardizing the original model utility. For instance, using the word-level triggers, our backdoor attack achieves 100% backdoor accuracy with only a drop of 0.18%, 1.26%, and 0.19% in the models utility, for the IMDB, Amazon, and Stanford Sentiment Treebank datasets, respectively.

研究の動機と目的

• 自然言語処理（NLP）モデルにおけるバックドア攻撃の実現可能性と有効性を調査すること。
• 従来のコンピュータビジョンに焦点を当てた手法とは異なり、NLP環境で隠れやすくかつ効果的なトリガー種別を同定・開発すること。
• バックドアトリガーがクリーンな入力におけるモデルの有用性に与える影響を評価し、性能の低下を最小限に抑えること。
• バックドア攻撃が、オリジナルの精度を損なうことなく、NLPにおいて非常に効果的であることを示すこと。

提案手法

• 文字レベル（特定の文字を挿入）、単語レベル（特定の単語を挿入）、文レベル（完全な文をトリガーとして追加）の3つの異なるトリガー種別を提案。
• 入力にトリガーを組み込み、ターゲットクラスにラベル付けされた汚染済みデータセット上でターゲットNLPモデルを訓練。
• IMDB、Amazon、SST-2などの標準的なNLPデータセットで微調整された標準的なNLPモデル（例：LSTM、BERT）を用いる。
• 特定のトリガーパターンが入力に含まれる場合にのみバックドアが発動し、クリーンな入力では通常の動作を維持することを保証。
• モデルの有用性を維持するために、訓練データに少数のバックドア付きサンプルを注入する汚染戦略を採用。
• 効果性と隠れやすさを測るため、バックドア精度（トリガー付き入力での成功率）とオリジナル精度（クリーン入力での精度）の両方を評価。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンとは構造的差異を有するNLPモデルに対し、バックドア攻撃を効果的に適用できるか？
• RQ2 文字レベル、単語レベル、文レベルのトリガー種別の中で、NLPバックドア攻撃において最も効果的で隠れやすいのはどれか？
• RQ3 バックドア攻撃は、クリーン入力におけるオリジナルモデルの性能にどの程度悪影響を及えるか？
• RQ4 非トリガー付き入力でも高い精度を維持しつつ、高い成功率でバックドアを発動させることは可能か？

主な発見

• 提案されたバックドア攻撃は、IMDB、Amazon、スタンフォードセンチメントツリーツリーク・データセットで100%のバックドア精度を達成した。
• モデルの有用性は最小限に抑えられ、IMDBデータセットではクリーン入力での精度がわずか0.18%低下した。
• 単語レベルのトリガーは、Amazonデータセットで1.26%の精度低下を示したが、100%のバックドア成功率を維持した。
• 文レベルのトリガーは、極めて隠れやすく効果的であり、オリジナルモデルの性能への影響はほとんどなかった。
• 文字レベルのトリガーは効果的ではあるが、トークン化やサブワードレベルの不具合の可能性により、やや脆弱である可能性がある。
• 全体として、攻撃は高い有用性と高い成功率を維持しており、NLPにおけるバックドア攻撃の実現可能性と危険性を裏付けた。