[論文レビュー] HaS-Nets: A Heal and Select Mechanism to Defend DNNs Against Backdoor Attacks for Data Collection Scenarios

Hassan Ali, ‪Surya Nepal‬+2 more|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用数 14

ひとこと要約

この論文は、データ収集シナリオにおけるバックドア攻撃から深層ニューラルネットワークを保護するための新しい防御機構、HaS-Netsを提案する。この手法は、信頼できる小さなホーリングデータセット（全データの2–15％）を用いて反復的にモデルを修復し、一貫性のない学習サンプルをフィルタリングすることで、攻撃成功率（ASR）を多様なデータセットおよびアーキテクチャで90％以上から15％未塔に低下させる。これは、複数の攻撃バリアントに対して最先端の防御を上回る性能を示している。

ABSTRACT

We have witnessed the continuing arms race between backdoor attacks and the corresponding defense strategies on Deep Neural Networks (DNNs). Most state-of-the-art defenses rely on the statistical sanitization of the "inputs" or "latent DNN representations" to capture trojan behaviour. In this paper, we first challenge the robustness of such recently reported defenses by introducing a novel variant of targeted backdoor attack, called "low-confidence backdoor attack". We also propose a novel defense technique, called "HaS-Nets". "Low-confidence backdoor attack" exploits the confidence labels assigned to poisoned training samples by giving low values to hide their presence from the defender, both during training and inference. We evaluate the attack against four state-of-the-art defense methods, viz., STRIP, Gradient-Shaping, Februus and ULP-defense, and achieve Attack Success Rate (ASR) of 99%, 63.73%, 91.2% and 80%, respectively. We next present "HaS-Nets" to resist backdoor insertion in the network during training, using a reasonably small healing dataset, approximately 2% to 15% of full training data, to heal the network at each iteration. We evaluate it for different datasets - Fashion-MNIST, CIFAR-10, Consumer Complaint and Urban Sound - and network architectures - MLPs, 2D-CNNs, 1D-CNNs. Our experiments show that "HaS-Nets" can decrease ASRs from over 90% to less than 15%, independent of the dataset, attack configuration and network architecture.

研究の動機と目的

• 既存のバックドア防御の耐性を検証するために、統計的洗練処理を回避するための新しい低信頼度バックドア攻撃を導入すること。
• 既存の防御が大量のクリーンデータを必要としているという限界を克服し、全学習セットの2–15％の少量で効果を発揮する手法を提案すること。
• 複数のバックドア攻撃バリアント、特に見えない攻撃やラベル一貫性を持つ攻撃に対しても耐性を持つ汎用的かつアーキテクチャに依存しない防御機構を開発すること。
• 訓練データの100％が汚染された状態（すべてのトロイの木馬攻撃）を含む極端な状況下でも防御のスケーラビリティと耐性を示すために評価すること。

提案手法

• 一括ラベルではなく、分散ラベル（例：[0.2, 0.4, 0.2, 0.2]）を用いた低信頼度バックドア攻撃を提案することで、汚染勾配を低減し、統計的検出器から隠れるようにする。
• 2つの攻撃バリアントを導入：統計的特徴に基づく防御を回避するための$\epsilon$-攻撃、およびヒートマップベースの検出（例：Februus）を回避するための二重トリガーとユニオントリガーを用いた$\epsilon^2$-攻撃。
• 反復的にDNNを小さなホーリングデータセットで再訓練しながら、複数のフォワードパスで一貫性のない予測を持つサンプルをフィルタリングする「ホーリング＆セレクト」機構であるHaS-Netsを開発する。
• 一貫性に基づく選択基準を採用：複数のフォワードパスで予測の分散が大きいサンプルは、汚染されていると仮定して除外する。
• 訓練中に反復的にホーリング処理を実行し、段階的に汚染されたサンプルを排除しながら、モデルの正確性と耐性を回復させる。
• 実世界のデータ収集シナリオに実用的であるよう、全データの2–15％の小さなホーリングデータセットを用いてホーリングプロセスを誘導する。

実験結果

リサーチクエスチョン

• RQ1 分散ラベルを用いた低信頼度バックドア攻撃は、最先端の統計的および勾配ベースの防御を回避できるか？
• RQ2 二重トリガーとユニオントリガーを用いる$\epsilon^2$-攻撃は、Februusのようなヒートマップベースの防御を効果的に回避できるか？
• RQ3 わずかなクリーンなホーリングデータしか利用できない状況下でも、HaS-Netsはバックドア攻撃に対して効果的に防御できるか？
• RQ4 目に見えないノイズをトリガーとして用いる見えないバックドア攻撃に対し、HaS-Netsはどれほど耐性を示すか？
• RQ5 ラベルを変更せずに潜在表現を操作するラベル一貫性を持つバックドア攻撃に対し、HaS-Netsは耐性を示せるか？

主な発見

• $\epsilon$-攻撃は、STRIPでは99％、Gradient-Shapingでは63.73％、ULP-defenseでは91.2％、Februusでは80％の攻撃成功率（ASR）を達成し、既存の防御の脆弱性を示した。
• $\epsilon^2$-攻撃はFebruusを効果的に回避し、二重トリガー機構を活用してヒートマップから2番目のトリガーを隠すことで、80％以上のASRを達成した。
• HaS-Netsは、評価された全データセット（Fashion-MNIST、CIFAR-10、Consumer Complaint、Urban Sound）およびネットワークアーキテクチャ（MLP、2D-CNN、1D-CNN）で、ASRを90％以上から15％未塔に低下させた。
• 目に見えないバックドア攻撃に対しては、防御なしのモデルでASRが90％を超えるのを、HaS-Netsが12％未塔に低下させ、目に見えないトリガーに対する強い耐性を示した。
• ラベル一貫性攻撃では、$\epsilon=1.0$の条件下で、Fashion-MNISTではASRを11％、CIFAR-10では12％に低下させ、$\epsilon=0.4$ではバックドアの挿入を完全に防止した。
• HaS-Netsは、訓練データの100％が汚染された「すべてのトロイの木馬攻撃」の極端な状況下でも有効であり、高いテスト精度と低いASRを維持した。