[論文レビュー] Understanding the Intrinsic Robustness of Image Distributions using Conditional Generative Models

Xiao Zhang, Jinghui Chen+2 more|arXiv (Cornell University)|Feb 29, 2020

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、条件付き生成モデルを用いて自然画像分布の内在的ロバストネスの理論的限界を確立し、$ε$-ボール $µ_2$ パーティクルに対する最先端のロバストな分類器が、これらの理論的限界から著しくかけ離れていることを示している。また、分布内 adversarial 例の探索手法を提案し、MNIST および ImageNet において理論的ロバストネス限界と現在のモデル性能との間の大きな開きを実証的に示している。

ABSTRACT

Starting with Gilmer et al. (2018), several works have demonstrated the inevitability of adversarial examples based on different assumptions about the underlying input probability space. It remains unclear, however, whether these results apply to natural image distributions. In this work, we assume the underlying data distribution is captured by some conditional generative model, and prove intrinsic robustness bounds for a general class of classifiers, which solves an open problem in Fawzi et al. (2018). Building upon the state-of-the-art conditional generative models, we study the intrinsic robustness of two common image benchmarks under $\\ell_2$ perturbations, and show the existence of a large gap between the robustness limits implied by our theory and the adversarial robustness achieved by current state-of-the-art robust models. Code for all our experiments is available at https://github.com/xiaozhanguva/Intrinsic-Rob.

研究の動機と目的

• Fawzi 他 (2018) が提起した、自然画像分布の内在的ロバストネス限界に関する未解決問題に取り組むこと。
• 理論的ロバストネス限界と最先端の adversarially trained モデルの性能とのギャップを埋めること。
• データ多様体上に位置する分布内 adversarial 例を探索するための手法を開発すること。
• 最先端の条件付き生成モデルを用いて、MNIST および ImageNet における内在的ロバストネスを実証的に評価すること。
• 分布内 adversarial リスクと内在的ロバストネスの関係を特定すること。

提案手法

• 理論的分析により、データ分布が条件付き生成モデルによって記述できるという仮定の下で、内在的ロバストネスの根本的限界を証明する。
• 生成器 $g$ が潜在変数 $\bm{z}$ を画像 $\bm{x}$ に写像する仕組みを用い、$g_* (\nu)$ というプッシュフォワード測度によってデータ分布をモデル化する。
• パラメータ $\Delta(\bm{x}, \bm{x}') \leq \epsilon$ の制約のもとで、$\|G(\bm{z}, y) - \bm{x}\|_2$ を最小化する最適化フレームワークを提案し、分布内 adversarial 例を探索する。
• 正則化パrameter $\lambda$ のバイナリサーチを用いて、摂動の大きさと adversarial 成功のバランスをとる。
• 初期化には、再構成誤差を最小化する潜在コード $\bm{z}_{\text{init}}$ または、テスト画像を生成するために使われた真の $\bm{z}^*$ を使用する。
• 実験では、MNIST および ImageNet10 で $\ell_2$-ベースのロバストネス目的関数に基づいて訓練された LP-Certify、Adv-Train、および TRADES モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルを仮定した場合、$\ell_2$ パーティクルに対して自然画像分布の内在的ロバストネスの理論的上限は何か？
• RQ2 理論的ロバストネス限界と、最先端の adversarially trained モデルが達成するロバストネスとは、どのように比較されるか？
• RQ3 潜在空間最適化フレームワークを用いて、分布内 adversarial 例を効果的に探索できるか？
• RQ4 分布内 adversarial リスクと内在的ロバストネスの関係は何か？
• RQ5 現在のロバストモデルは、データ分布が示唆する理論的ロバストネス限界からどの程度かけ離れているか？

主な発見

• MNIST における理論的内在的ロバストネス限界は $\ell_2$ パーティクルに対して約 1.85 であるが、最良のロバストモデルはわずか 1.35 にとどまっている。
• ImageNet10 では、内在的ロバストネス限界は約 2.15 であるが、最良のロバストモデルは 1.55 にとどまり、顕著な性能ギャップが確認された。
• 提案された最適化手法は、データ多様体上に位置する分布内 adversarial 例を効果的に発見でき、その有効性が裏付けられた。
• 分布内 adversarial リスクは、内在的ロバストネスと正式に関連づけられ、理論的限界が達成可能なロバストネスの硬い上限として機能することが示された。
• 実証的結果から、最も強力な認証可能モデルおよび adversarially trained モデルですら、データ分布が示唆する理論的ロバストネス限界に到達していないことが分かった。
• 理論と実際のギャップは、MNIST および ImageNet10 の両方で継続しており、現在のロバスト訓練アプローチに根本的な制限があることを示唆している。