[論文レビュー] Adversarial Example Defenses: Ensembles of Weak Defenses are not Strong

Warren He, James Wei+3 more|arXiv (Cornell University)|Jun 15, 2017

Adversarial Robustness in Machine Learning参考文献 27被引用数 80

ひとこと要約

本研究は、弱い adversarial defenses のアンサンブル（特徴量絞り込み、specialists+1、検出器アンサンブル）では、適応的攻撃者に対して強いロバスト性を生み出さず、攻撃者は低歪みの敵対的例を作成してそれらを回避できる、ということを示している。

ABSTRACT

Ongoing research has proposed several methods to defend neural networks against adversarial examples, many of which researchers have shown to be ineffective. We ask whether a strong defense can be created by combining multiple (possibly weak) defenses. To answer this question, we study three defenses that follow this approach. Two of these are recently proposed defenses that intentionally combine components designed to work well together. A third defense combines three independent defenses. For all the components of these defenses and the combined defenses themselves, we show that an adaptive adversary can create adversarial examples successfully with low distortion. Thus, our work implies that ensemble of weak defenses is not sufficient to provide strong defense against adversarial examples.

研究の動機と目的

• 複数の弱い防御を組み合わせると、敵対的な例に対してより強い全体防御が得られるかを評価する。
• 3つのアンサンブル防御戦略を評価し、構成要素とアンサンブル全体の堅牢性を判断する。
• 個々の防御およびそれらの組み合わせを打ち崩す適応的攻撃を開発する。
• 検出器間の敵対的例の転移性を分析して、なぜアンサンブルが効果的でない可能性があるかを理解する。

提案手法

• 畳み込み? loss(x') = ||x' - x||^2 + c·J(Fθ(x'), y) を用いて歪みを最小化しつつ誤分類を引き起こす最適化ベースの敵対的攻撃を使用する。
• 個別の特徴量絞り込みコンポーネント（カラー深度低減と空間スムージング）に対して適応的攻撃をテストする。
• 複合的な特徴量絞り込み検出器（3分岐システム）に対して適応的攻撃をテストする。
• Specialists+1 のアンサンブルを評価し、一般的な専門家と適用可能な専門家の両方を欺く標的な敵対的例を試す。
• 検出器のアンサンブル（Gong、Metzen、Feinman）を評価し、結合ロスを介してすべての検出器を回避する敵対的例を作成する。
• MNISTとCIFAR-10データセット全体で攻撃成功率と歪み（L2）を測定する。

実験結果

リサーチクエスチョン

• RQ1 複数の防御をアンサンブルすることは、単一の防御よりも敵対的例に対して著しく強いロバスト性をもたらすか？
• RQ2 適応的攻撃者は、さまざまな防御アーキテクチャに渡って低歪みでアンサンブル防御を打ち破ることができるか？
• RQ3 検出器間の敵対的例の転移は、アンサンブル防御の有効性にどのように影響するか？
• RQ4 特定のアンサンブル構成（例：特徴量絞り込み vs. specialists+1 vs. 検出器アンサンブル）は、他よりも堅牢ですか？

主な発見

• 適応的な攻撃者は、評価されたすべての防御およびコンポーネントを回避する低歪みの敵対的例を生成できる。
• 弱い防御のアンサンブルは、最も強い個別コンポーネントを超える追加のロバスト性をほとんど提供しない。
• 敵対的な例はしばしば検出器間で転移し、アンサンブルの堅牢性を損なう。
• カラー深度低減と空間スムージングは個別に適応的攻撃に対して脆弱であり、それらの組み合わせは最大でもわずかな改善しかもたらさない。
• Specialists+1 のアンサンブルは必要な歪みを増加させるが、適応的攻撃には依然として脆弱である。
• 検出器のアンサンブルも、敵対的例の転移性のために実質的な堅牢性を提供できない。