[論文レビュー] Limitations of adversarial robustness: strong No Free Lunch Theorem.

Elvis Dohmatob|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 15

ひとこと要約

この論文は、敵対的ロバストネスのための強いフリー・ランチ定理を確立し、$W_2$ Talagrand輸送コスト不等式を満たすデータ（例：対数凹型または正の曲率を持つ多様体上の一様分布）において、摂動が自然ノイズのレベルを超えると、任意の分類器が高確率で敵対的攻撃に成功する可能性があることを証明している。この結果は、先行する不可能性に関する結果を一般化しており、MNISTおよびシミュレーテッドデータで検証されている。

ABSTRACT

This manuscript presents some new impossibility results on adversarial robustness in machine learning, a very important yet largely open problem. We show that if conditioned on a class label the data distribution satisfies the $W_2$ Talagrand transportation-cost inequality (for example, this condition is satisfied if the conditional distribution has density which is log-concave; is the uniform measure on a compact Riemannian manifold with positive Ricci curvature, any classifier can be adversarially fooled with high probability once the perturbations are slightly greater than the natural noise level in the problem. We call this result The Strong No Free Lunch Theorem as some recent results (Tsipras et al. 2018, Fawzi et al. 2018, etc.) on the subject can be immediately recovered as very particular cases. Our theoretical bounds are demonstrated on both simulated and real data (MNIST). We conclude the manuscript with some speculation on possible future research directions.

研究の動機と目的

• 自然なデータ分布全体にわたる敵対的ロバストネスを達成する際の根本的制限を特定すること。
• 最適な分類器を用いても避けられない敵対的例が生じる条件を形式化すること。
• 輸送コスト不等式を用いて、より広範な理論的枠組みに先行する不可能性の結果を一般化すること。
• 理論的境界をMNISTおよび合成データ上で実証的に検証すること。
• 今後の研究を導くために、ロバストな学習の内在的障壁を特定すること。

提案手法

• 理論的分析は、$W_2$ Talagrand輸送コスト不等式に根ざしており、これは条件付きデータ分布の集中を特徴づける。
• 論文は、各クラスラベルに対して、データ分布が$W_2$ Talagrand不等式を満たすと仮定している。これは、対数凹型密度関数や正のリッチィ曲率を持つコンactリーマン多様体上の一様測度の両方で満たされる条件である。
• この条件下で、摂動が自然ノイズのレベルを超えると、いかなる分類器も敵対的攻撃に対して脆弱になることを証明している。
• 証明は、最適輸送および測度集中の幾何学的・確率的道具を活用している。
• 理論的境界が導出され、対数凹型および一様分布を用いたシミュレーテッドデータ、およびMNIST上ですでに実証されている。
• この枠組みは、先行研究（例：Tsipras et al. 2018, Fawzi et al. 2018）の結果を特別な場合として統合・拡張している。

実験結果

リサーチクエスチョン

• RQ1 どのような分布的仮定のもとで、敵対的ロバストネスは根本的になし得ないのか？
• RQ2 $W_2$ Talagrand輸送コスト不等式を用いて、敵対的脆弱性の普遍的下界を導出できるか？
• RQ3 既存のロバストネスに関する結果は、一般化できない特定のデータ仮定にどれほど依存しているのか？
• RQ4 自然ノイズのレベルと、現実的なデータ分布における敵対的脆弱性の閾値との関係は何か？
• RQ5 提案された枠組みは、敵対的ロバストネスにおける先行の不可能性結果を回復し、一般化できるか？

主な発見

• $W_2$ Talagrand輸送コスト不等式を満たすデータ上で学習された任意の分類器は、摂動が自然ノイズのレベルを超えると、敵対的攻撃に対して脆弱になる。
• この結果は、対数凹型密度関数や正のリッチィ曲率を持つコンパクトなリーマン多様体上の一様測度を含む広範な分布クラスに適用可能である。
• 敵対的脆弱性に関する理論的境界が、シミュレーテッドデータおよびMNISTの両方で実際に成り立つことが確認され、予測が実証的に裏付けられた。
• この枠組みは、Tsipras et al. (2018) や Fawzi et al. (2018) の先行の不可能性結果を特別な場合として回復・一般化している。
• これらの結果は、データ分布に対するやや穏当で自然な仮定のもとでは、敵対的ロバストネスが原理的に達成できないことを示唆している。
• この分布的条件下で、自然な正確性と敵対的ロバストネスの間には根本的なトレードオフがあることが同定された。