[論文レビュー] BackdoorBench: A Comprehensive Benchmark of Backdoor Learning

Baoyuan Wu, Hongrui Chen+5 more|arXiv (Cornell University)|Jun 25, 2022

Adversarial Robustness in Machine Learning被引用数 43

ひとこと要約

BackdoorBenchは拡張可能なコードベースと標準化されたプロトコルを提供し、4データセットと5モデルで5つのポイズニング比率を用いて最大8,000回の攻撃-防御評価を、8つのバックドア攻撃と9つの防御に対して実施する。

ABSTRACT

Backdoor learning is an emerging and vital topic for studying deep neural networks' vulnerability (DNNs). Many pioneering backdoor attack and defense methods are being proposed, successively or concurrently, in the status of a rapid arms race. However, we find that the evaluations of new methods are often unthorough to verify their claims and accurate performance, mainly due to the rapid development, diverse settings, and the difficulties of implementation and reproducibility. Without thorough evaluations and comparisons, it is not easy to track the current progress and design the future development roadmap of the literature. To alleviate this dilemma, we build a comprehensive benchmark of backdoor learning called BackdoorBench. It consists of an extensible modular-based codebase (currently including implementations of 8 state-of-the-art (SOTA) attacks and 9 SOTA defense algorithms) and a standardized protocol of complete backdoor learning. We also provide comprehensive evaluations of every pair of 8 attacks against 9 defenses, with 5 poisoning ratios, based on 5 models and 4 datasets, thus 8,000 pairs of evaluations in total. We present abundant analysis from different perspectives about these 8,000 evaluations, studying the effects of different factors in backdoor learning. All codes and evaluations of BackdoorBench are publicly available at \url{https://backdoorbench.github.io}.

研究の動機と目的

• 公正で徹底的な評価を促すバックドア学習の分野で急速な方法論的進歩の中で。
• モジュール式の攻撃、防御、および評価コンポーネントを備えた拡張可能なコードベースを提供する。
• 複数の攻撃、防御、データセット、モデル、ポイニング比率にわたる包括的で標準化された評価を可能にする。

提案手法

• 8つの最先端バックドア攻撃手法と9つの防御手法をモジュール型フレームワークに実装する。
• データ準備、攻撃、防御、評価の標準化プロトコルを定義し、再現性を確保する。
• 8,000回の攻撃-防御評価を実施する（8攻撃 × 9防御 × 5ポイニング比率 × 4データセット × 5モデル）。
• より深い洞察のために5つの分析ツール（t-SNE、Grad-CAM、Shapley値マップ、周波数感度マップ、ニューロン活性化）を提供する。

実験結果

リサーチクエスチョン

• RQ1 異なるバックドア攻撃は、さまざまな防御と、異なるポイズニング比率のもとでどのように相互作用するか？
• RQ2 データセットサイズ/クラス数とモデルアーキテクチャがバックドアの有効性と防御の性能に与える影響は何か？
• RQ3 標準化されたベンチマークは一般化可能な洞察を明らかにし、今後のバックドア学習研究を導くことができるか？

主な発見

• ほとんどの防御は、クリーン精度への影響を最小限に抑えつつ、多くのペアでバックドア効果を緩和できる。
• ASRは一部の設定でポイズニング比率とともに上昇する傾向があるが、比率が高いと防御がより効果的になることもある（方法による）。
• モデルアーキテクチャ間で性能は大きく異なり、いくつかの攻撃は特定のモデルでバックドアを設置できず、防御はアーキテクチャごとに異なる成果を示す。
• 分析は、迅速なバックドア学習、トリガー一般化、毒されたサンプルの記憶/忘却、およびアーキテクチャ依存の防御効果といったダイナミクスを明らかにする。