[論文レビュー] BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection

Tinghao Xie, Xiangyu Qi+4 more|arXiv (Cornell University)|Aug 23, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

BaDExpertは、少量の誤標籤付きクリーンサンプルを用いた微調整により、バックドア機能を専用のバックドアエキスパートモデルに抽出する後開発防御を提案する。このエキスパートモデルは、元のモデルとの予測不一致を検出することでバックドア入力を検出し、CIFAR10、GTSRB、ImageNetで最大99.8%の高いAUROCを達成するとともに、クリーン精度の低下を最小限に抑えながら17のSOTAバックドア攻撃を緩和する。

ABSTRACT

We present a novel defense, against backdoor attacks on Deep Neural Networks (DNNs), wherein adversaries covertly implant malicious behaviors (backdoors) into DNNs. Our defense falls within the category of post-development defenses that operate independently of how the model was generated. The proposed defense is built upon a novel reverse engineering approach that can directly extract backdoor functionality of a given backdoored model to a backdoor expert model. The approach is straightforward -- finetuning the backdoored model over a small set of intentionally mislabeled clean samples, such that it unlearns the normal functionality while still preserving the backdoor functionality, and thus resulting in a model (dubbed a backdoor expert model) that can only recognize backdoor inputs. Based on the extracted backdoor expert model, we show the feasibility of devising highly accurate backdoor input detectors that filter out the backdoor inputs during model inference. Further augmented by an ensemble strategy with a finetuned auxiliary model, our defense, BaDExpert (Backdoor Input Detection with Backdoor Expert), effectively mitigates 17 SOTA backdoor attacks while minimally impacting clean utility. The effectiveness of BaDExpert has been verified on multiple datasets (CIFAR10, GTSRB and ImageNet) across various model architectures (ResNet, VGG, MobileNetV2 and Vision Transformer).

研究の動機と目的

• トレーニングデータやトレーニングダイナミクスにアクセスできない状況下で、後開発段階の深層ニューラルネットワークにおけるバックドア入力の検出課題に対処すること。
• モデルのトレーニング方法に依存しない防御を構築すること。これは、データ汚染攻撃および重み改ざん攻撃の両方をカバーする。
• グローバル変換や複雑なトレーニングパターンに失敗するトレーサー再構築に依存せず、バックドア機能を直接抽出すること。
• 高い検出精度とクリーンモデルの有用性への最小限の影響で、耐障害性の高いバックドア入力検出を達成すること。
• 多様なデータセット、モデルアーキテクチャ、および17の最先端バックドア攻撃に対して有効性を示すこと。

提案手法

• バックドアが仕込まれたモデルを、意図的に誤標籤された少量のクリーンデータセットで微調整し、通常の分類機能を学習を放棄するが、バックドア機能は保持する。
• この微調整中にモデルがクリーン精度を低下させるが攻撃成功率は維持する傾向を活用し、バックドア入力のみを認識するバックドアエキスパートモデルを訓練する。
• 推論時に、元のモデルとの予測不一致をチェックすることで、バックドアエキスパートモデルがバックドア入力を検出する。
• バックドアエキスパートモデルと微調整された補助モデルを組み合わせたアンサンブル戦略を実装し、検出の耐障害性とAUROCを向上させる。
• 複数のデータセット（CIFAR10、GTSRB、ImageNet）とモデルアーキテクチャ（ResNet、VGG、MobileNetV2、Vision Transformer）に検出パイプラインを適用する。
• 検出性能の評価に主にAUROCを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータや勾配にアクセスできない状況下でも、バックドア機能を信頼性高くバックドアモデルから抽出できるか？
• RQ2 誤標籤されたクリーンサンプルでの微調整が、バックドア機能の分離を有効に実現し、通常分類を抑制するか？
• RQ3 この手法で構築されたバックドアエキスパートモデルは、推論時にバックドア入力を効果的に検出できるか？
• RQ4 バックドアエキスパートモデルと補助モデルのアンサンブルは、多様な攻撃タイプにわたって検出の耐障害性をどのように向上させるか？
• RQ5 SOTAバックドア攻撃を緩和しつつ、クリーン精度をどの程度維持できるか？

主な発見

• BaDExpertは、CIFAR10におけるBadNet攻撃下で99.8%のAUROCを達成し、既存の検出器を大きく上回る性能を示した。
• CIFAR10、GTSRB、ImageNetで17の最先端バックドア攻撃を、クリーン精度の低下（≤0.5%）を最小限に抑えながら緩和した。
• 微調整後、バックドアエキスパートモデルは1%未満のクリーン精度で、95%以上の攻撃成功率を維持した。
• アンサンブル戦略により検出の耐障害性が向上し、実験全体のAUROCの標準偏差は、大多数の攻撃で1.0%未満に保たれた。
• このアプローチは、ビジョントランスフォーマーを含む多様なモデルアーキテクチャで有効であり、従来の手法が失敗するグローバル変換ベースのトレーサーに対しても耐障害性を示した。
• 標準偏差分析により、高い再現性が確認され、主要な実験では、大多数の攻撃でAUROCの標準偏差が1.0%未満に保たれた。