[論文レビュー] Analysis of universal adversarial perturbations

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+3 more|arXiv (Cornell University)|May 26, 2017

Adversarial Robustness in Machine Learning被引用数 91

ひとこと要約

この論文は、普遍的 adversarial 扰乱に対する深層ニューラルネットワークの耐性について、初めての定量的分析を提供し、その脆弱性を意思決定境界の正の曲率と結びつける。共有の正の曲率を持つ方向が、小さな普遍的擾乱の存在を可能にすることが証明され、それらを計算する幾何学的手法が導入される。

ABSTRACT

Deep networks have recently been shown to be vulnerable to universal perturbations: there exist very small image-agnostic perturbations that cause most natural images to be misclassified by such classifiers. In this paper, we propose the first quantitative analysis of the robustness of classifiers to universal perturbations, and draw a formal link between the robustness to universal perturbations, and the geometry of the decision boundary. Specifically, we establish theoretical bounds on the robustness of classifiers under two decision boundary models (flat and curved models). We show in particular that the robustness of deep networks to universal perturbations is driven by a key property of their curvature: there exists shared directions along which the decision boundary of deep networks is systematically positively curved. Under such conditions, we prove the existence of small universal perturbations. Our analysis further provides a novel geometric method for computing universal perturbations, in addition to explaining their properties.

研究の動機と目的

• 深層分類器の普遍的 adversarial 扰乱に対する耐性を形式的に分析すること。
• 普遍的擾乱への脆弱性と意思決定境界の幾何的性質との間の理論的リンクを確立すること。
• 意思決定境界を平坦または曲がったものとしてモデル化し、それぞれのモデル下での耐性の上限を導出すること。
• 曲率が普遍的擾乱の存在を決定づける重要な要因であることを特定すること。
• 意思決定境界の曲率に基づいた新しい幾何学的手法を用いて、普遍的擾乱を計算すること。

提案手法

• 平坦および曲がった意思決定境界モデルの下での耐性の理論的分析。
• 意思決定境界の曲率特性に基づいた耐性の上限の形式的導出。
• 意思決定境界が一貫して正の曲率を示す共通の方向の同定。
• 曲率情報を用いて普遍的擾乱を計算する幾何学的アルゴリズムの開発。
• 曲率に基づく不変性を用いて、自然画像全体にわたる擾乱の一般化を説明すること。
• 共通の方向における正の曲率が、小さな普遍的擾乱の存在を示す数学的証明。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界のどの幾何的性質が深層ネットワークの普遍的擾乱への脆弱性をもたらすか？
• RQ2 意思決定境界の曲率は、普遍的擾乱の存在とサイズにどのように影響するか？
• RQ3 意思決定境界の幾何学的性質に基づいて、分類器の普遍的擾乱に対する耐性を形式的に上限づけることができるか？
• RQ4 共通の正の曲率を持つ方向が、なぜ普遍的擾乱の存在を可能にするのか？
• RQ5 曲率に基づいた幾何学的手法を用いて、普遍的擾乱を計算することができるか？

主な発見

• 深層ネットワークは、意思決定境界の共有方向に一貫した正の曲率を示しており、これが小さな普遍的擾乱の存在を可能にする。
• 理論的境界は、正の曲率を持つ意思決定境界を持つ分類器が、本質的に普遍的擾乱に対して脆弱であることを示している。
• 提示された幾何学的手法は、意思決定境界の曲率情報を活用して、普遍的擾乱を効果的に計算できた。
• この分析は、画像に依存しないにもかかわらず、多様な自然画像にわたって普遍的擾乱が一般化する理由を説明している。
• 正の曲率は、普遍的 adversarial 例の形成を駆動する重要な構造的性質であると特定された。
• 本研究は、普遍的擾乱の脆弱性を理解・予測するための形式的で幾何学的な基盤を確立した。