[論文レビュー] A backdoor attack against LSTM-based text classification systems

Jiazhu Dai, Chuanshuai Chen|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 19

ひとこと要約

本論文は、LSTMベースのテキスト分類モデルを標的とした、データ汚染に基づくバックドア攻撃を提案する。攻撃では、訓練データにトリガー文を埋め込むことで、その文を含む入力を標的ラベルに誤分類させる。攻撃はブラックボックス設定下でも、1%の汚染率で約95%の成功率を達成し、モデルの精度を維持するため、巧妙な攻撃であることが示された。

ABSTRACT

With the widespread use of deep learning system in many applications, the adversary has strong incentive to explore vulnerabilities of deep neural networks and manipulate them. Backdoor attacks against deep neural networks have been reported to be a new type of threat. In this attack, the adversary will inject backdoors into the model and then cause the misbehavior of the model through inputs including backdoor triggers. Existed research mainly focuses on backdoor attacks in image classification based on CNN, little attention has been paid to the backdoor attacks in RNN. In this paper, we implement a backdoor attack in text classification based on LSTM by data poisoning. When the backdoor is injected, the model will misclassify any text samples that contains a specific trigger sentence into the target category determined by the adversary. The existence of the backdoor trigger is stealthy and the backdoor injected has little impact on the performance of the model. We consider the backdoor attack in black-box setting where the adversary has no knowledge of model structures or training algorithms except for small amount of training data. We verify the attack through sentiment analysis on the dataset of IMDB movie reviews. The experimental results indicate that our attack can achieve around 95% success rate with 1% poisoning rate.

研究の動機と目的

• 再帰的ニューラルネットワーク、特にLSTMベースのテキスト分類システムにおけるバックドア攻撃の可能性を調査すること。
• モデルの性能に影響を与えることなく、訓練データにバックドアトリガーを埋め込むデータ汚染手法を開発すること。
• 攻撃の有効性を、モデルアーキテクチャーや学習プロセスに関する知識が限られた状況（ブラックボックス）で評価すること。
• 感情分析などの実世界のNLP応用分野における、バックドア攻撃の巧妙さと高い成功率を実証すること。

提案手法

• 攻撃は、訓練サンプルのわずかな割合に事前に定義されたトリガー文を埋め込むデータ汚染を用いる。
• トリガー文は意味的に妥当で文脈的に整合的になるように設計され、検出を避ける。
• 訓練の過程で、モデルはトリガーを標的ラベルに関連付けるよう学習し、テスト入力にトリガーが含まれると誤分類を引き起こす。
• 攻撃はブラックボックス設定で動作し、わずかな訓練データとモデルの予測結果へのアクセスのみを必要とする。
• トリガーは入力シーケンスに埋め込まれ、LSTMの隠れ状態が標的出力を生成するように操作される。
• 綺麗なデータに対するモデルの性能はほとんど変化せず、バックドアが検出されにくくなる。

実験結果

リサーチクエスチョン

• RQ1 データ汚染を用いたバックドア攻撃は、LSTMベースのテキスト分類モデルに対して効果的に実行可能か？
• RQ2 NLPモデルにおいて、高い攻撃成功率を維持しつつ、バックドアトリガーはどの程度巧妙に隠せるか？
• RQ3 汚染率が攻撃の成功率とモデル精度に与える影響は何か？
• RQ4 モデルの知識が最小限のブラックボックス状況下でも攻撃は成功するか？
• RQ5 バックドアの存在が、トリガーのない綺麗な入力に対するモデルの性能に与える影響は何か？

主な発見

• トリガー文が入力サンプルに含まれる場合、攻撃の成功率は約95%に達する。
• 訓練データのわずか1%が汚染されていても、綺麗な入力に対するモデルの精度は高く維持されるため、攻撃の巧妙さが示された。
• 攻撃者はモデルアーキテクチャーや学習アルゴリズムの詳細を全く知らない状況でも、バックドアは効果的に機能する。
• トリガー文は文脈的に妥当で、テキストの意味的整合性を損なわないため、検出リスクが低下する。
• トリガーが存在する場合にのみ顕著な誤分類が発生するため、攻撃は的を射たものであることがわかる。
• トリガーのない入力に対するモデルの性能はほとんど影響を受けないため、攻撃の低検出性が確認された。