[論文レビュー] Backdoor Attack with Sample-Specific Triggers.

Yuezun Li, Yiming Li+4 more|arXiv (Cornell University)|Dec 7, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用数 17

ひとこと要約

本論文は、DNNベースのエンコーダ・デコーダネットワークを用いて、攻撃者が定義した文字列を健全な画像に埋め込むことで、サンプル固有で見えないトリガーを生成する、新しいバックドア攻撃を提案する。この手法は、各サンプルごとにトリガーを独自に生成することで、既存の防御から検出されにくく、防御付きモデルに対しても高い攻撃成功率を達成する。

ABSTRACT

Recently, backdoor attacks pose a new security threat to the training process of deep neural networks (DNNs). Attackers intend to inject hidden backdoor into DNNs, such that the attacked model performs well on benign samples, whereas its prediction will be maliciously changed if the hidden backdoor is activated by an attacker-defined trigger. Existing backdoor attacks usually adopt the setting that the trigger is sample-agnostic, $i.e.,$ different poisoned samples contain the same trigger, resulting in that the attacks could be easily mitigated by current backdoor defenses. In this work, we explore a novel attack paradigm that the backdoor trigger is sample-specific. Specifically, inspired by the recent advance in DNN-based image steganography, we generate sample-specific invisible additive noises as backdoor triggers by encoding an attacker-specified string into benign images through an encoder-decoder network. The mapping from the string to the target label will be generated when DNNs are trained on the poisoned dataset. Extensive experiments on benchmark datasets verify the effectiveness of our method in attacking models with or without defenses.

研究の動機と目的

• サンプルに依存しないトリガーを用いる従来のバックドア攻撃の脆弱性に対処すること。これらのトリガーは現在の防御によって容易に検出可能である。
• 深層学習ベースのステガノグラフィーを用いて、各サンプルごとに一意で見えないトリガーを生成することで、より隠蔽性の高いバックドア攻撃を開発すること。
• 最先端のバックドア防御を回避する能力を有するサンプル固有のトリガーの有効性を評価すること。
• サンプル固有のトリガーが、人間の観察者には検出不能でありながらも、高い攻撃成功率を維持できることを実証すること。

提案手法

• 訓練済みのエンコーダ・デコーダネットワークを用いて、秘密の文字列を各健全な画像に見えない追加ノイズパターンとして埋め込む。
• エンコードされたノイズが、各汚染済みサンプル固有のトリガーとして機能する。
• トリガーは人間の視認に対して感知不能であり、一般的な画像変換処理に対しても耐性を持つように生成される。
• モデル学習の過程で、DNNはトリガー（文字列のエンコード結果）を事前に定義されたターゲットラベルにマッピングするように学習する。
• 攻撃フレームワークは、エンコーダ・デコーダをデータ汚染パイプラインに統合し、各サンプルごとのトリガーの一貫性を保証する。
• DNNベースの画像ステガノグラフィーの進展を活用することで、トリガーが見えず、かつ耐性を持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 深層ステガノグラフィーを用いて生成されたサンプル固有のトリガーは、既存のバックドア検出防御を回避できるか？
• RQ2 各サンプルに一意のトリガーを用いて汚染データで学習されたモデルにおいて、攻撃の成功率はどの程度高いか？
• RQ3 標準的および防御的学習設定下で、ベンチマークデータセット上で本手法はどの程度の性能を示すか？
• RQ4 トリガーは人間の観察者にとってどの程度検出不能であり、画像前処理に対してどの程度耐性を示すか？

主な発見

• 提案手法は、複数のベンチマークデータセットでほぼ完璧な攻撃成功率（100％に近い）を達成しており、防御技術を用いて学習されたモデルに対しても同様に有効である。
• トリガーの独自性と見えなさのおかげで、最先端のバックドア検出手法によっても検出されない。
• 健全なサンプルに対するモデルの精度を高い水準で維持しており、推論時における信頼性のある振る舞いを保証する。
• 視覚的検査および知覚的類似度指標による確認から、トリガーは人間の観察者には検出不能であることが確認された。
• さまざまな画像前処理およびデータ拡張技術に対しても、攻撃は有効に保たれる。
• 本手法は、CIFAR-10 や Tiny ImageNet を含む、異なるDNNアーキテクチャおよびデータセットにおいても、強固な性能を示した。