[論文レビュー] IBD-PSC: Input-level Backdoor Detection via Parameter-oriented Scaling Consistency

Linshan Hou, Ruili Feng+4 more|arXiv (Cornell University)|May 16, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

本稿では、バッチ正則化層におけるパラメータ指向スケーリング整合性（PSC）を活用して、汚染された入力を検出する新しい入力レベルバックドア検出手法IBD-PSCを提案する。BNパラメータをスケーリングし、予測信頼度の安定性を測定することで、高い精度と効率性を実現し、特に極端な画素値を有する画像において、従来手法（SCALE-UPなど）を上回る性能を示す。また、ベンチマークデータセット上で適応的攻撃に対しても強い耐性を示す。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to backdoor attacks, where adversaries can maliciously trigger model misclassifications by implanting a hidden backdoor during model training. This paper proposes a simple yet effective input-level backdoor detection (dubbed IBD-PSC) as a `firewall' to filter out malicious testing images. Our method is motivated by an intriguing phenomenon, i.e., parameter-oriented scaling consistency (PSC), where the prediction confidences of poisoned samples are significantly more consistent than those of benign ones when amplifying model parameters. In particular, we provide theoretical analysis to safeguard the foundations of the PSC phenomenon. We also design an adaptive method to select BN layers to scale up for effective detection. Extensive experiments are conducted on benchmark datasets, verifying the effectiveness and efficiency of our IBD-PSC method and its resistance to adaptive attacks. Codes are available at \href{https://github.com/THUYimingLi/BackdoorBox}{BackdoorBox}.

研究の動機と目的

• 既存の入力レベルバックドア検出手法の限界、特に極端な画素値（例：黒・白画素）を有する健全なサンプルで失敗することを解決すること。
• モデルパラメータのスケーリングを活用することで、画素値の制約に依存しない新たな強力な検出信号を同定すること。
• 実際の第三者的なモデルデプロイメントにおけるリアルタイム推論に適した、実用的で効率的かつ効果的な検出フレームワークを開発すること。
• 汚染済みサンプルと健全なサンプルにおける観察されたパラメータ指向スケーリング整合性（PSC）現象の理論的裏付けを提供すること。
• 多様なバックドア攻撃および適応的回避戦略に対する本手法の耐性を評価すること。

提案手法

• 本手法は、デプロイされたモデルのバッチ正則化（BN）層のランニング統計をスケーリングすることでバックドアを検出する。スケーリングは最終層から開始し、徐々にスケーリング対象の層数を増やしていく。
• 各疑わしい入力に対して、IBD-PSCは元のモデルが予測したラベルに基づき、複数のパラメータスケーリング済みモデルバージョンにおける予測信頼度の平均としてPSCスコアを計算する。
• 高いPSCスコアは、スケーリング済みモデル間での予測の一貫性が高いため、入力が汚染済みである可能性が高くなることを示す。
• 健全なサンプルの性能に与える影響を評価することで、最適なBN層数を選択する適応的アルゴリズムを採用し、通常の推論性能を損なわずに検出感度を確保する。
• 本手法はメモリ効率が高く、オリジナルモデルを1つのコピーのみ保持し、推論時にオンザフライでスケーリング済みモデルを生成する。
• 理論的分析により、標準的な学習仮定のもとで、BNパラメータのスケーリングは常に隠れたバックドアを露呈できることを証明しており、PSC現象が偶然ではないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化層におけるパラメータスケーリングによって、画素値の制限に強く、汚染済み入力のための一貫した検出信号を明らかにできるか？
• RQ2 任意の攻撃を受けたモデルにおいて、バックドアを露呈するスケーリング要因が存在することを保証する理論的基盤は存在するか？
• RQ3 適応的レイヤー選択戦略は、計算コストの増加を最小限に抑えながら検出性能を向上させることができるか？
• RQ4 IBD-PSCは、多様なバックドア攻撃、特に適応的・高度な攻撃に対し、どのように性能を発揮するか？
• RQ5 IBD-PSCは、推論時だけでなく、訓練データにおける汚染サンプルの検出にも効果的に適用可能か？

主な発見

• IBD-PSCは、複数の攻撃において、汚染された訓練サンプルの検出において100%の真正陽性率（TPR）とほぼ100%のAUROCを達成し、偽陽性率（FPR）はほぼ0%に近い。
• 極端な画素値（例：黒・白画素）を有する画像において、SCALE-UPはスケーリング過程での画素飽和により失敗するが、IBD-PSCはその点で顕著に優れた性能を示す。
• IBD-PSCは13の代表的バックドア攻撃においても高い検出性能を維持し、適応的回避技術に対しても強い耐性を示す。
• 理論的分析により、学習理論における標準的仮定のもとで、任意の攻撃済みモデルにおいてバックドアを露呈するスケーリング要因が存在することが確認された。
• 訓練データへの適用において、IBD-PSCは効果的に汚染サンプルを同定・フィルタリングでき、再訓練後のモデルの攻撃成功率（ASR）をCIFAR-10において0.5%未満にまで低下させた。
• 本手法はリアルタイム推論環境でも効果的であり、再トレーニングや元の学習データへのアクセスを必要とせず、第三者的なモデルに対して軽量なファイアウォールとして機能する。