[論文レビュー] A Geometric Perspective on the Transferability of Adversarial Directions

Zachary Charles, Harrison Rosenberg+1 more|arXiv (Cornell University)|Nov 8, 2018

Adversarial Robustness in Machine Learning参考文献 4被引用数 6

ひとこと要約

本稿は、線形分類器および2層ReLUネットワークにおける敵対的方向の転送がなぜ起こるかを説明する幾何学的理論を提示する。理論的に、すべての線形分離器に対して普遍的な敵対的方向が存在し、他の分類器へ高確率で転送されることを証明している。一方、ReLUネットワークの敵対的方向は線形モデルへ転送されるが、逆は成り立たない。MNISTデータを用いた実験的検証により、その妥当性が裏付けられている。

ABSTRACT

State-of-the-art machine learning models frequently misclassify inputs that have been perturbed in an adversarial manner. Adversarial perturbations generated for a given input and a specific classifier often seem to be effective on other inputs and even different classifiers. In other words, adversarial perturbations seem to transfer between different inputs, models, and even different neural network architectures. In this work, we show that in the context of linear classifiers and two-layer ReLU networks, there provably exist directions that give rise to adversarial perturbations for many classifiers and data points simultaneously. We show that these "transferable adversarial directions" are guaranteed to exist for linear separators of a given set, and will exist with high probability for linear classifiers trained on independent sets drawn from the same distribution. We extend our results to large classes of two-layer ReLU networks. We further show that adversarial directions for ReLU networks transfer to linear classifiers while the reverse need not hold, suggesting that adversarial perturbations for more complex models are more likely to transfer to other classifiers. We validate our findings empirically, even for deeper ReLU networks.

研究の動機と目的

• 敵対的転送性が複数の分類器およびデータポイント間でどのように発生するかの理論的背景を理解すること。
• 複数の分類器に対して普遍的に有効となる敵対的方向が成立する幾何的条件を同定すること。
• ReLUネットワークと線形分類器の間における転送性の非対称性を調査すること。
• FGSMを用いて生成された敵対的例を用いて、理論的知見をMNISTデータ上で実証すること。

提案手法

• 最大マージンSVMの理論的分析により、複数のデータポイントおよび分類器へ転送可能な敵対的方向を構築する。
• 線形および2層ReLUネットワークの決定境界の幾何的解析により、普遍的な敵対的方向の存在を証明する。
• FGSMを用いた勾配上昇法を用いて敵対的例を生成し、実験的検証を実施する。
• MNIST上での実験的評価において、各モデルタイプ（SVMおよびニューラルネットワーク）ごとに50,000個の敵対的例を用い、ℓ∞ノルムの異なる摂動を評価する。
• ランダム摂動、SVMが生成した、およびニューラルネットワークが生成した敵対的例に対する分類器の精度を比較し、転送性を評価する。
• 敵対的部分空間の交差および方向的ロバストネスの分析により、理論的予測の妥当性を確認する。

実験結果

リサーチクエスチョン

• RQ1 同じ分布からの独立したデータサブセットで学習された複数の線形分類器間で、敵対的方向が転送されるための幾何的条件は何か？
• RQ2 与えられたデータセットのすべての線形分離器に対して、普遍的な敵対的方向が存在するか？ また、それらは最大マージン分類器とどのように関係するか？
• RQ3 2層ReLUネットワークの敵対的方向が、同じクラスのすべての線形分類器へ転送可能であることを示せるか？
• RQ4 なぜ転送性が非対称的なのか？ つまり、ReLUの敵対的方向は線形モデルへ転送されるが、逆は成り立たないのはなぜか？
• RQ5 SVMのような複雑なモデルから生成された敵対的摂動が、SVMのような単純なモデルへどれほど転送されるか？

主な発見

• 与えられたデータセットのすべての線形分離器に対して、普遍的な敵対的方向が存在し、そのノルムは最大マージン分類器にのみ依存する。
• 同じ分布からの独立したデータセットで学習された線形分類器では、敵対的方向が高確率で転送される。
• 2層ReLUネットワークの敵対的方向は、他のすべてのReLUネットワークおよび同じクラスのすべての学習データへ転送される。
• ReLUネットワークの敵対的方向は線形分類器へ転送されるが、逆は成り立たない。これは、非対称な転送性を示している。
• 実験的結果により、SVMおよびReLUネットワークから生成された敵対的例は、ランダム摂動よりも顕著に高い転送性を示しており、ReLUの敵対的例はSVMに対してSVMの敵対的例よりもより効果的に欺くことが確認された。