[論文レビュー] Spectral Signatures in Backdoor Attacks

Brandon Tran, Jerry Li+1 more|arXiv (Cornell University)|Nov 1, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用数 237

ひとこと要約

本論文はバックドア攻撃が学習表現に検出可能なスペクトル特徴を残すことを示し、頑健な統計量（SVD）を用いて汚染された訓練データを識別・除去し、CIFAR-10でほぼクリーンな精度を回復させる。

ABSTRACT

A recent line of work has uncovered a new form of data poisoning: so-called \emph{backdoor} attacks. These attacks are particularly dangerous because they do not affect a network's behavior on typical, benign data. Rather, the network only deviates from its expected output when triggered by a perturbation planted by an adversary. In this paper, we identify a new property of all known backdoor attacks, which we call \emph{spectral signatures}. This property allows us to utilize tools from robust statistics to thwart the attacks. We demonstrate the efficacy of these signatures in detecting and removing poisoned examples on real image sets and state of the art neural network architectures. We believe that understanding spectral signatures is a crucial first step towards designing ML systems secure against such backdoor attacks

研究の動機と目的

• 動機: バックドア攻撃は善意のテスト入力の精度を損なうことなく、敵対的に摂動された入力のみを誤分類させる。
• 目的: 学習表現にバックドアが残す検出可能なスペクトル特徴を特定する。
• 狙い: 汚染された訓練データを検出・除去して堅牢な性能を回復させる防御を開発する。
• 実データセットと実アーキテクチャ上で、スペクトル特徴ベースの防御の実用性を示す。

提案手法

• ニューラルネットワークを訓練し、入力ごとに学習表現を抽出する。
• 表現のクラスごとの共分散を計算し、SVDを適用して外れ値を検出する。
• 上位特異ベクトルを用いて外れ値スコアを定義し、汚染比の上位1.5倍を除去する。
• クリーン化したデータセットでネットワークを再訓練し、自然データとバックドア攻撃を受けたテストセットで評価する。
• 汚染点が検出可能であることを保証するスペクトル的に分離可能な条件を通じて理論的直感を提供する。

実験結果

リサーチクエスチョン

• RQ1 学習表現のスペクトル特性は、クリーンな訓練例とバックドア攻撃を受けた訓練例を識別できるか。
• RQ2 学習表現に適用された頑健な統計手法は、汚染された入力を信頼性高く識別・除去できるか。
• RQ3 スペクトル特徴ベースの防御は、アーキテクチャや攻撃構成を超えて有効か。
• RQ4 表現空間におけるクリーンと汚染サブ Populations を信頼性高く分離する条件は何か。

主な発見

• バックドア攻撃は、学習表現の共分散に検出可能なスペクトル特徴を残す。
• 上位特異ベクトルと外れ値スコアを用いて、訓練データから汚染例を識別・除去できる。
• CIFAR-10では、たった250例の汚染例でも、バックドア攻撃を受けたテスト入力の90％超を誤分類しつつ、クリーン精度は高い水準を維持する。
• 検出された汚染点を除去して再訓練した後、バックドアデータの誤分類はクリーンモデルの性能の1%以内まで低下する。
• 頑健な統計に基づくスペクトル手法は、データレベルの統計よりもクリーンと汚染入力を分離する際に優れている。