[論文レビュー] Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection

Hao Fu, Akshaj Kumar Veldanda+3 more|arXiv (Cornell University)|Nov 4, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 11

ひとこと要約

本稿では、内部構造ではなく、入力・特徴・出力の動作を分析することで、ニューラルネットワーク内のバックドアを検出する、特徴に基づく異常検知防御を提案する。2つの相乗効果をもたらす検知器——新規特徴と異常な特徴から出力へのマッピング——を用い、多様なバックドアモデルにおいて、クリーンな正確度（>95%）とほぼゼロの攻撃成功確率（<1%）を達成している。これは、ドメインシフトや目に見えないトリガーに対しても同様に有効である。

ABSTRACT

This paper proposes a new defense against neural network backdooring attacks that are maliciously trained to mispredict in the presence of attacker-chosen triggers. Our defense is based on the intuition that the feature extraction layers of a backdoored network embed new features to detect the presence of a trigger and the subsequent classification layers learn to mispredict when triggers are detected. Therefore, to detect backdoors, the proposed defense uses two synergistic anomaly detectors trained on clean validation data: the first is a novelty detector that checks for anomalous features, while the second detects anomalous mappings from features to outputs by comparing with a separate classifier trained on validation data. The approach is evaluated on a wide range of backdoored networks (with multiple variations of triggers) that successfully evade state-of-the-art defenses. Additionally, we evaluate the robustness of our approach on imperceptible perturbations, scalability on large-scale datasets, and effectiveness under domain shift. This paper also shows that the defense can be further improved using data augmentation.

研究の動機と目的

• トレーニングデータが入手不可または手動での点検が困難な場合に顕著な脅威をもたらすバックドア攻撃の重大なセキュリティリスクに対処する。
• トリガのサイズ、形状、位置に関する制限付き仮定に依存する既存の防御の限界を克服する。
• 内部構造ではなく、特徴と出力レベルで動作する防御を構築し、ニューラルネットワークを超えた応用を可能にする。
• 目に見えない摂動、ドメインシフト、およびImageNetのような大規模データセットにおけるスケーラビリティに対して、耐性を確保する。
• 人為的に汚染されたサンプルを用いたデータ拡張と再訓練により、検知性能を向上させる。

提案手法

• クリーンな検証データ上で新規性検知器をトレーニングし、特徴抽出層に組み込まれたバックドアトリガによって生じる異常な特徴を同定する。
• クリーンな検証データ上で別個の分類器をトレーニングし、正常な特徴から出力へのマッピングをモデル化し、異常検知の基準とする。
• 汚染済みネットワークの実際の特徴から出力へのマッピングを、基準分類器と比較し、異常な予測を検出する。
• 2段階の検知メカニズムを適用：まず新規特徴を持つ入力をマークし、次にその出力マッピングが通常の挙動から逸脱しているかを検証する。
• クリーンな検証セットにデータ拡張（例：ガウスノイズ）を適用し、耐性を高め、攻撃成功確率を低下させる。
• 検出された汚染入力の10–20％を用いて分類器を再訓練し、攻撃成功確率をさらに低下させつつ、高いクリーン正確度を維持する。

実験結果

リサーチクエスチョン

• RQ1 トリガの特徴（サイズ、形状、位置など）を事前に知らない状態でも、バックドア検知手法が有効に機能するか？
• RQ2 ドメインシフトや目に見えない摂動の下でも、この手法の性能はどの程度か？
• RQ3 限られたクリーンな検証データで、ImageNetのような大規模データセットにスケーリング可能か？
• RQ4 データ拡張と再訓練によって、検知の耐性と攻撃成功確率の低下にどの程度寄与できるか？
• RQ5 多様なバックドアバリアントに対して、最先端の防御と比較して、クリーン正確度とバックドア検知正確度の両面で優れているか？

主な発見

• 評価されたすべての汚染済みモデルにおいて、クリーン正確度が95%以上、攻撃成功確率が1%未塔を達成しており、最先端の防御を回避するモデルに対しても同様に有効である。
• データ拡張を適用すると、攻撃成功確率は6%未塔（大多数のケースでは1%未塔）に低下し、クリーン正確度の低下はわずかである。
• 検出された汚染入力の10–20％を用いて分類器を再訓練することで、攻撃成功確率はほぼゼロ（例：0.07%～0.35%）に低下し、クリーン正確度も向上する。
• 元の検証データの50%程度のデータでも、このアプローチは有効に機能するが、より小さなデータセットでは性能がわずかに低下する。
• ImageNetにおいて、トレーニングデータの8%を検証データとして使用した場合、再訓練後、約63%のクリーン正確度と0.14%の攻撃成功確率を達成した。
• この防御はドメインシフトや目に見えない摂動に対しても耐性があり、多様なバックドアトリガタイプと埋め込み手法に一般化して有効であることが示された。