[論文レビュー] Backdoor Scanning for Deep Neural Networks through K-Arm Optimization

Guangyu Shen, Yingqi Liu+6 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用数 29

ひとこと要約

この論文は、K-Arm バックドアスキャナーを導入し、マルチアームバンディット戦略を用いてDNNのバックドアを効率的に特定し、TrojAIで最高性能を達成し、最先端手法よりもスキャンが高速。

ABSTRACT

Back-door attack poses a severe threat to deep learning systems. It injects hidden malicious behaviors to a model such that any input stamped with a special pattern can trigger such behaviors. Detecting back-door is hence of pressing need. Many existing defense techniques use optimization to generate the smallest input pattern that forces the model to misclassify a set of benign inputs injected with the pattern to a target label. However, the complexity is quadratic to the number of class labels such that they can hardly handle models with many classes. Inspired by Multi-Arm Bandit in Reinforcement Learning, we propose a K-Arm optimization method for backdoor detection. By iteratively and stochastically selecting the most promising labels for optimization with the guidance of an objective function, we substantially reduce the complexity, allowing to handle models with many classes. Moreover, by iteratively refining the selection of labels to optimize, it substantially mitigates the uncertainty in choosing the right labels, improving detection accuracy. At the time of submission, the evaluation of our method on over 4000 models in the IARPA TrojAI competition from round 1 to the latest round 4 achieves top performance on the leaderboard. Our technique also supersedes three state-of-the-art techniques in terms of accuracy and the scanning time needed.

研究の動機と目的

• 深層ニューラルネットワークのバックドア検出を堅牢に行えるよう動機づけ、DLシステムを保護する。
• 多数のクラスとラベルペアを横断するスキャンの計算コストを削減する。
• 真のバックドアを識別しつつ自然特徴とトリガーを区別する確率的・ラウンドベースの最適化フレームワークを開発する。
• 大規模なTrojAIデータセットとImageNetモデルでのスケーラビリティと有効性を実証する。

提案手法

• K-Arm最適化問題としてバックドアスキャンを定式化し、K本のアームはターゲットラベルに対応（およびユニバーサルバックドアとラベル特異的バックドアのラベルペアを含む）。
• パターンPとマスクMを用いてパターンをスタンプするトリガー最適化を用い、min_P,M L(t,F((1−M)·X+M·P)) + α||M||1 を最適化し、成功条件 Acc(Ẋ,t) ≥ θ および ||M||1 < 前回 ||M||1 を満たす。
• ε-greedyのK-Armスケジューラを用いて探索と活用のバランスを取り、目的A(l)はトリガーサイズ削減率と現在のトリガーサイズに基づく。
• 前処理で保留ラベルをフィルタリングし善良なサンプルのログits統計を用いてアーム集合を削減することでプレチェックを組み込む。
• 対称最適化を拡張して自然特徴と真のバックドアを区別し、 victim→target と target→victim の最適化方向を比較する。
• 理論分析を提供して効率の改善を示し、TrojAIのラウンド1–4とImageNetで実証的検証を行う。

実験結果

リサーチクエスチョン

• RQ1 多クラスを持つモデル全体のバックドアを、全てのラベルペアを網羅的にスキャンせずにK-Armバンディット手法で効率的に特定できるか？
• RQ2 確率的でラウンドベースのラベル選択は、N CやABSなど既存手法と比べて検出精度を向上させ、スキャン時間を短縮できるか？
• RQ3 対称性の考慮は実用データセットで自然特徴と実際のバックドアトリガーを効果的に分離できるか？
• RQ4 大規模なTrojAIラウンドおよびImageNetモデルで検証した場合の精度と所要時間における実証的な利得は？

主な発見

• TrojAIリーダーボードのラウンド1–4でトップ性能を発揮し、NC、ABS、およびULPを上回る。
• スキャン時間を大幅に短縮し、最適化ベースのベースラインと比較して著しく優れる（例：精度でNCに対して31%、ABSに対して20%、ULPに対して27%）。
• 前処理により保留ラベルを減らすことで、検出精度を犠牲にせず多クラスモデルに対応。
• 対称最適化と方向分析により自然特徴とバックドアトリガーを効果的に区別。
• ImageNetや他データセットで実行時間を大幅に削減しつつ高い検出有効性を維持。