[論文レビュー] WaNet -- Imperceptible Warping-based Backdoor Attack

Anh Nguyen, Anh Tran|arXiv (Cornell University)|Feb 20, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用数 128

ひとこと要約

WaNet は elastic image warping に基づく人間には知覚不能なバックドアトリガを導入します。 クリーン精度と攻撃精度の両方で高い性能を発揮し、一般的な防御を回避し、物理世界のシナリオでも有効であり続けます。

ABSTRACT

With the thriving of deep learning and the widespread practice of using pre-trained networks, backdoor attacks have become an increasing security threat drawing many research interests in recent years. A third-party model can be poisoned in training to work well in normal conditions but behave maliciously when a trigger pattern appears. However, the existing backdoor attacks are all built on noise perturbation triggers, making them noticeable to humans. In this paper, we instead propose using warping-based triggers. The proposed backdoor outperforms the previous methods in a human inspection test by a wide margin, proving its stealthiness. To make such models undetectable by machine defenders, we propose a novel training mode, called the ``noise mode. The trained networks successfully attack and bypass the state-of-the-art defense methods on standard classification datasets, including MNIST, CIFAR-10, GTSRB, and CelebA. Behavior analyses show that our backdoors are transparent to network inspection, further proving this novel attack mechanism's efficiency.

研究の動機と目的

• 第三者モデルが利用される場合におけるバックドア攻撃のリスクを動機づける。特に知覚不能なトリガーを用いる場合に焦点を当てる。
• 学習したワーピング場に基づくステルドバックドア機構を提案する。自然な画像内容を保持する。
• 偽のピクセルアーティファクトの学習を防ぎ、バックドアがワープに依存することを保証する訓練方式を開発する。
• 防御と現実世界での実世界展開を含む WaNet の有効性とステルス性を示す。

提案手法

• B(x) = W(x, M) というバックドア注入関数を定義する。W は学習されたワーピング場 M を用いて画像を歪ませる。
• 強さパラメータ s を用いたランダムグリッドと双三次アップサンプリングを用いて、制御点のグリッドから歪み場 M を生成する。
• 画像境界内で小さく、弾性を保ち、自然に見える歪みになるよう M を制約して自然なワープを強制する。
• ピクセルレベルのアーティファクトを記憶してしまうのを防ぎ、歪みの学習を強制するため、クリーン、アタック、そして新たなノイズモードの3つのモードで訓練する。
• 訓練中に歪みを乱雑化するノイズモード（M + ランダムノイズ）により、事前定義の歪みにないワープ入力にバックドア反応が生じないようにする。
• MNIST、CIFAR-10、GTSRB、CelebA のデータセットを用いた全問い合わせ型バックドア設定で評価し、クリーン精度と攻撃精度、再捕捉および歪みへの頑健性を測定する。

実験結果

リサーチクエスチョン

• RQ1 知覚不能な歪みベースのトリガが、人間や防御に検出されずに効果的なバックドア動作を達成できるだろうか？
• RQ2 専用のノイズモード訓練スキームは、モデルが利用可能なピクセルアーティファクトを学習するのを防ぎ、Neural Cleanse のような防御に対するステルス性を向上させるか？
• RQ3 WaNet はカメラ撮影や物理的表示シナリオを含む現実世界の条件に対して頑健か？
• RQ4 確立されたバックドア防御（Neural Cleanse、Fine-Pruning、STRIP）および一般的な可視化ツールに対して WaNet はどのような成果を示すか？

主な発見

• WaNet は MNIST、CIFAR-10、GTSRB、および CelebA で高いクリーン精度と攻撃精度を達成し、事前定義の歪みが適用されたときには攻撃成功率がほぼ目標に近い。
• WaNet によって生成されるバックドア画像は、人間にはクリーン画像とほとんど見分けがつかず、パッチベースや他の従来のトリガよりも人間の検査で優れている。
• 専用のノイズモード訓練はピクセルアーティファクトへの依存を防ぎ、Neural Cleanse や同様の分析に対する感受性を低減する。
• カメラベースの再捕捉や極端な撮影条件下でもWaNet は有効性を維持し、高い攻撃成功を保つ。
• WaNet はいくつかの防御を打破する。Neural Cleanse は WaNet に対して低い異常指標を示し、STRIP のエントロピーパターンは善良なモデルと一致し、Fine-Pruning はバックドアを劣化させない。
• アブレーションにより、防御に対するステルス性を維持するためにはノイズモードの必要性と、歪みの強さおよび制御点グリッドサイズが検出性と有効性に影響することが示された。