[論文レビュー] Intrinsic Geometric Vulnerability of High-Dimensional Artificial Intelligence

Luca Bortolussi, Guido Sanguinetti|arXiv (Cornell University)|Nov 8, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用数 4

ひとこと要約

この論文は、高次元データ多様体の幾何構造に起因して、高次元の人工知能モデルが本質的に adversarial 攻撃に対して脆弱であると主張している。性能が優れている要因である低次元埋め込みや多様体の凝集性といった幾何的性質が、同時に攻撃の利用可能性を生み出すため、高次元ではロバスト性と高い精度が根本的に結びついていることを示している。

ABSTRACT

The success of modern Artificial Intelligence (AI) technologies depends critically on the ability to learn non-linear functional dependencies from large, high dimensional data sets. Despite recent high-profile successes, empirical evidence indicates that the high predictive performance is often paired with low robustness, making AI systems potentially vulnerable to adversarial attacks. In this report, we provide a simple intuitive argument suggesting that high performance and vulnerability are intrinsically coupled, and largely dependent on the geometry of typical, high-dimensional data sets. Our work highlights a major potential pitfall of modern AI systems, and suggests practical research directions to ameliorate the problem.

研究の動機と目的

• 強い予測精度にもかかわらず、高性能なディープラーニングモデルがなぜ本質的に adversarial 攻撃に対して脆弱であるかを説明すること。
• 高次元データ多様体の構造に注目し、この脆弱性の内的な幾何的要因を同定すること。
• 典型的な高次元データの幾何学的性質に起因して、ロバスト性と高い性能が根本的に結びついていると主張すること。
• 次元削減や正則化といった幾何的知見を活用することで、ロバスト性を向上させる実用的な研究方向性を提案すること。
• これまでの adversarial 一般化と転送性に関する観察を、幾何的枠組みで統一すること。

提案手法

• 入力空間 R^N における高次元分類問題を、データ多様体の幾何的視点から分析する。
• 局所的に複雑な分類器という概念を導入し、高次元空間における微小な摂動に対して感度が高い決定境界を考察する。
• 主成分分析 (PCA) を用いて、分類器の重みが大きい入力空間の方向、特にデータ多様体に垂直な方向を特定する。
• 線形攻撃が効果的であるのは、高次元空間における大きな分類器重みを持つ方向を活用しているからであり、単純なモデルに対しても同様に成り立つ。
• adversarial 例の一般化を、特に局所的内在次元が大きい領域に注目して、データ多様体の幾何に結びつける。
• 次元削減やベイジアン不確実性推定が、高次元空間におけるモデルの挙動を単純化または正則化することで脆弱性を軽減できると提言する。

実験結果

リサーチクエスチョン

• RQ1 なぜ高次元のAIモデルは、強力な一般化性能を示すにもかかわらず、微小な adversarial 摂動に対して極めて脆弱なのか？
• RQ2 高次元データ多様体のどの幾何的性質が、ロバスト性と高い性能を根本的になめらかに不一致にしているのか？
• RQ3 データの内在次元は、adversarial 例の形成と転送性にどのように関係しているのか？
• RQ4 なぜ線形攻撃は、異なるモデルやデータセットであっても一般化するのか、なぜモデルが異なるデータで学習してもかまわないのか？
• RQ5 データ多様体構造からの幾何的知見は、adversarial 攻撃に対するより良い防御を導くことができるか？

主な発見

• 低次元埋め込みを持つ高次元データ多様体は、高性能分類器が必然的に adversarial 攻撃に対して脆弱である幾何的状況を生み出す。
• 高次元空間で正確な予測を可能にする分類器重みは、同時にデータ多様体に垂直な方向への微小摂動に対して感度を高める。
• 線形攻撃が効果的で一般化可能であるのは、高次元空間における大きな分類器重みを持つ方向を活用しているからであり、単純なモデルに対しても共通する。
• adversarial 例はしばしば局所的内在次元が大きい領域に位置し、多様体の複雑な折りたたみを狙っていることが示唆される。
• 脆弱性はモデルの複雑さの副産物ではなく、高次元データの幾何的性質に起因する本質的結果である。
• 次元削減やベイジアン正則化は、データ多様体を単純化し、自由度の高い方向における不確実性を定量化することで、脆弱性を低減できる。