[論文レビュー] TROJANZOO: Everything you ever wanted to know about neural backdoors (but were afraid to ask).

Ren Pang, Zheng Zhang+5 more|arXiv (Cornell University)|Dec 16, 2020

Adversarial Robustness in Machine Learning参考文献 68被引用数 19

ひとこと要約

TROJANZOO は、12 つの攻撃、15 つの防御、複数のメトリクスを統合した包括的なフレームワークで、神経バックドア攻撃と防御を体系的に評価するオープンソースプラットフォームです。本研究では、1 ピクセルのトリガーの有効性、トリガーとモデルの共同最適化の利点、および洗浄ベースの防御が適応攻撃に対して脆弱であるという重要な知見を明らかにしました。

ABSTRACT

Neural backdoors represent one primary threat to the security of deep learning systems. The intensive research on this subject has produced a plethora of attacks/defenses, resulting in a constant arms race. However, due to the lack of evaluation benchmarks, many critical questions remain largely unexplored: (i) How effective, evasive, or transferable are different attacks? (ii) How robust, utility-preserving, or generic are different defenses? (iii) How do various factors (e.g., model architectures) impact their performance? (iv) What are the best practices (e.g., optimization strategies) to operate such attacks/defenses? (v) How can the existing attacks/defenses be further improved? To bridge the gap, we design and implement TROJANZOO, the first open-source platform for evaluating neural backdoor attacks/defenses in a unified, holistic, and practical manner. Thus, it has incorporated 12 representative attacks, 15 state-of-the-art defenses, 6 attack performance metrics, 10 defense utility metrics, as well as rich tools for in-depth analysis of attack-defense interactions. Leveraging TROJANZOO, we conduct a systematic study of existing attacks/defenses, leading to a number of interesting findings: (i) different attacks manifest various trade-offs among multiple desiderata (e.g., effectiveness, evasiveness, and transferability); (ii) one-pixel triggers often suffice; (iii) optimizing trigger patterns and trojan models jointly improves both attack effectiveness and evasiveness; (iv) sanitizing trojan models often introduces new vulnerabilities; (v) most defenses are ineffective against adaptive attacks, but integrating complementary ones significantly enhances defense robustness. We envision that such findings will help users select the right defense solutions and facilitate future research on neural backdoors.

研究の動機と目的

• 神経バックドア攻撃と防御のための標準化された評価ベンチマークの不足に対処する。
• バックドア攻撃における効果性、回避性、転送性、有用性のトレードオフを体系的に評価する。
• 適応攻撃に対して最新の防御の耐性と実用性を評価する。
• 攻撃および防御のパフォーマンスに影響を与える最適化戦略とアーキテクチャ要因を特定する。
• 効果的な防御の選定と今後の神経バックドア研究を支援する実用的知見を提供する。

提案手法

• 12 つの代表的なバックドア攻撃と 15 つの最先端防御を統合した包括的でオープンソースのプラットフォーム TROJANZOO を設計および実装する。
• 標準化された評価のための 6 つの攻撃パフォーマンスメトリクスと 10 つの防御ユーティリティメトリクスを定義および実装する。
• 豊富な診断および可視化ツールを通じて、攻撃と防御の相互作用を詳細に分析できるようにする。
• 多様なモデルアーキテクチャとデータセットを対象に大規模な実験的評価を実施し、パフォーマンスのトレードオフを評価する。
• トリガーのパターンとトロイの木馬モデルの共同最適化を用いて、攻撃の効果性と回避性を向上させる。
• 洗浄による防御が引き起こす意図しない脆弱性を分析するため、適応攻撃を用いて防御の耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるバックドア攻撃は、効果性、回避性、転送性の間でどのようにトレードオフを示すか？
• RQ2 適応攻撃にさらされた場合、既存の防御はどれほど耐性があり、ユーティリティを保っているか？
• RQ3 アーキテクチャの選択と最適化戦略は、攻撃および防御のパフォーマンスにどの程度影響を与えるか？
• RQ4 トリガーのパターンとモデルパラメータの共同最適化は、攻撃の結果を改善できるか？
• RQ5 モデル洗浄のような防御機構によって、どのような意図しない脆弱性が生じるか？

主な発見

• 1 ピクセルのトリガーは、しばしば高い攻撃成功率を達成できることから、最小限のトリガー複雑性でも高い有効性を示す可能性がある。
• トリガーのパターンとトロイの木馬モデルの共同最適化は、独立した最適化に比べ、攻撃の効果性と回避性を顕著に向上させる。
• 洗浄ベースの防御は頻繁に、以前に未知の脆弱性を引き起こし、その信頼性を損なう。
• 大多数の既存防御は適応攻撃に対して失敗するが、補完的な防御戦略を組み合わせることで、全体の耐性が顕著に向上する。
• 異なる攻撃は、効果性、回避性、転送性といった望ましい特性の間で異なるトレードオフを示しており、防御アプローチを個別に最適化する必要があることを示唆している。
• 本プラットフォームは、バックドアの転送性が攻撃タイプによって顕著に異なることを明らかにした。一部の手法は他の手法よりも広い転送性を示している。