[論文レビュー] Defending against Backdoor Attack on Deep Neural Networks

Hao Cheng, Kaidi Xu+4 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 37

ひとこと要約

本論文はバックドア攻撃がDNNの活性化パターンをどのように変えるかを分析し、クリーンデータでの精度を保ちながら攻撃の成功率を低下させるL-infinityに基づくニューロン剪定防御を提案している。

ABSTRACT

Although deep neural networks (DNNs) have achieved a great success in various computer vision tasks, it is recently found that they are vulnerable to adversarial attacks. In this paper, we focus on the so-called \textit{backdoor attack}, which injects a backdoor trigger to a small portion of training data (also known as data poisoning) such that the trained DNN induces misclassification while facing examples with this trigger. To be specific, we carefully study the effect of both real and synthetic backdoor attacks on the internal response of vanilla and backdoored DNNs through the lens of Gard-CAM. Moreover, we show that the backdoor attack induces a significant bias in neuron activation in terms of the $\ell_\infty$ norm of an activation map compared to its $\ell_1$ and $\ell_2$ norm. Spurred by our results, we propose the \textit{$\ell_\infty$-based neuron pruning} to remove the backdoor from the backdoored DNN. Experiments show that our method could effectively decrease the attack success rate, and also hold a high classification accuracy for clean images.

研究の動機と目的

• Grad-CAMを用いて、ベースラインのDNNとバックドア攻撃を受けたDNNのバックドアトリガに対する応答を特徴づける。
• p-ノルムを用いてニューロンの活性化パターンを定量分析し、堅牢な防御基準を特定する。
• L-infinityノルムに基づくニューロン剪定法を提案・評価し、バックドアの影響を緩和する。
• 交通標識データセット上で、攻撃抑制とクリーン精度のトレードオフを実証する。

提案手法

• クリーンおよびトリガー入力下で、ベースラインおよびバックドア攻撃を受けたDNNの識別的領域をGrad-CAMで可視化する。
• 最終畳み込み層のニューロン活性化マップを計算し、入力条件間でL1/L2/ L-infinityノルムを比較する。
• トリガーの逆設計によってバックドアトリガを合成し、4つの入力条件（clean, clean+ori, clean+syn, clean+ori+syn）を評価する。
• L-infinityノルムがクリーンとトリガーされたケースの最も顕著な識別を示すことを特定する。
• 高いL-infinity活性化を持つニューロンに剪定を適用して、トリガー誘導予測を抑制する。
• AlexNetを用いてGerman Traffic Sign Recognition Benchmarkで剪定を評価し、精度と攻撃成功率を報告する。

Figure 3. Neuron activation map of the backdoored DNN using (a) clean image and (b) clean image with original trigger, for all the 128 neurons in the final convolutional layer.

実験結果

リサーチクエスチョン

• RQ1 Grad-CAMは、ベースラインとバックドア攻撃を受けたDNNがバックドアトリガにどのように応答するかの差を示すことができるか。
• RQ2 どの活性化ノルム指標がクリーンとトリガーされた活性化を最もよく区別できるか。
• RQ3 L-infinityに基づくニューロン剪定は、クリーン精度を維持しつつバックドア攻撃の成功を効果的に削減するか。
• RQ4 防御強度とクリーンデータ上のモデル性能とのトレードオフはどのようになるか。

主な発見

閾値	acc	SR(クリーン+オリジナル)	SR(クリーン+合成)	SR(クリーン+オリジナル+合成)
None	96.91	81.61	74.36	74.36
7	95.21	48.42	40.87	40.87
6	91.38	42.99	35.90	35.90

• バックドアを受けたDNNは、トリガーが存在する場合にトリガー領域に識別的な活性化を示す。
• 最終層の活性化のL-infinityノルムは、クリーンとトリガー入力の差がL1/L2よりも大きいことを示す。
• L-infinityベースの剪定は、クリーン精度の小さな損失を伴いながら、攻撃成功率を81.61%から42.99–48.42%程度に低減する。
• 最適な剪定閾値は、クリーン精度が最小限低下し、攻撃成功が大幅に低下するバランスを達成する。

Figure 4. Histogram of the $\ell_{1}$ , $\ell_{2}$ and $\ell_{\infty}$ norms of the final convolutional layer activation values. Green is for clean image input; blue is for clean image with original trigger; red is for clean image with synthetic trigger; and yellow is for clean image with original t