[論文レビュー] Adversarial vulnerability for any classifier

Alhussein Fawzi, Hamza Fawzi+1 more|arXiv (Cornell University)|Feb 23, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 50

ひとこと要約

この論文は、滑らかな生成データモデルの下で分類器に依存しないロバスト性の上界を導出し、敵対的摂動の転移性を証明し、データ分布内ロバスト性と制約なしロバスト性を結びつけ、SVHNとCIFAR-10の実験で境界を検証する。

ABSTRACT

Despite achieving impressive performance, state-of-the-art classifiers remain\nhighly vulnerable to small, imperceptible, adversarial perturbations. This\nvulnerability has proven empirically to be very intricate to address. In this\npaper, we study the phenomenon of adversarial perturbations under the\nassumption that the data is generated with a smooth generative model. We derive\nfundamental upper bounds on the robustness to perturbations of any\nclassification function, and prove the existence of adversarial perturbations\nthat transfer well across different classifiers with small risk. Our analysis\nof the robustness also provides insights onto key properties of generative\nmodels, such as their smoothness and dimensionality of latent space. We\nconclude with numerical experimental results showing that our bounds provide\ninformative baselines to the maximal achievable robustness on several datasets.\n

研究の動機と目的

• 潜在空間から画像への滑らかな写像 g でデータが生成される場合、任意の分類器のロバスト性の限界を動機づける。
• 任意の決定規則を横断して、摂動が分類器を欺くことができる小ささについての確率的境界を導出する。
• 敵対的摂動の転移性と、分布内ロバスト性と制約なしロバスト性の関係を探る。
• SVHNとCIFAR-10で境界を定量化してベースラインを提供し、堅牢なモデル設計をガイドする。

提案手法

• 分類器 f の分布内ロバスト性 r_in および制約なしロバスト性 r_unc を定義する。
• データを滑らかな生成器 g: Z -> X, z ~ N(0, I_d) および x = g(z) でモデル化する；連続性のモジュール omega を課す: ||g(z) - g(z')|| <= omega(||z - z'||_2)。
• ガウス等距離不等式を適用して、r_in が小さい確率の下限を導出する（定理1）。
• 最も近傍ベースの分類器 f̃ を構築して r_unc >= r_in/2 を達成することにより、r_unc と r_in を関連付ける（定理2）。
• 転移可能性の境界を確立する：2つの分類器が小さな共通リスクを持つ場合、両方を欺く共通の摂動が存在する（定理3）。
• 1-Wasserstein 距離の下での近似生成器にも結果を拡張し、対応するロバスト性境界を導出する（定理4。）

実験結果

リサーチクエスチョン

• RQ1 データが滑らかな生成器 g によって生成されるとき、任意の分類器の摂動に対する根本的なロバスト性の限界は何か？
• RQ2 同じデータ生成モデルの下で敵対的摂動は異なる分類器間で転移するか？
• RQ3 分布内ロバスト性と制約なしロバスト性はどう関係し、一方を他方から推定できるか？
• RQ4 クラス数が増えると境界はどう振る舞い、生成器が真のデータ分布を近似する場合はどうなる？

主な発見

• 滑らかで高次元のデータ生成の下で、どの分類器でも小さな摂動で欺ける可能性があるという上界を定量化する。
• 敵対的摂動は分類器間で転移可能であり、共通のリスクが小さい場合には共通の摂動が存在する（転移性）。
• 分布内ロバスト性と制約なしロバスト性は密接に関連しており、単純な最近傍構成により r_unc >= r_in/2 が保証される。
• クラス数が増えると欺く確率が上昇する境界を予測し、SVHNとCIFAR-10 の実験の現実的なベースラインを提供する。
• SVHN/CIFAR-10 の実験は、最大達成可能なロバスト性の情報性のあるベースラインを提供し、生成器の滑らかさと潜在空間が与える影響を強調する。