[論文レビュー] Adversarial Robustness of Supervised Sparse Coding

Jeremias Sulam, Ramchandran Muthukumar+1 more|arXiv (Cornell University)|Oct 22, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用数 6

ひとこと要約

本稿は、スパース特徴を生成するスパarsity促進エンコーダー followed by 線形分類器である教師ありスパースコーディングにおける敵対的ロバスト性の理論的枠組みを提案する。エンコーダーのギャップと辞書の非一様性に基づくロバスト性証明を確立し、敵対的ノルムと分類器のマージンに関連する閾値を超えると、ℓ2ノルムで制限された摂動に対して予測が変化しないことを証明する。

ABSTRACT

Several recent results provide theoretical insights into the phenomena of adversarial examples. Existing results, however, are often limited due to a gap between the simplicity of the models studied and the complexity of those deployed in practice. In this work, we strike a better balance by considering a model that involves learning a representation while at the same time giving a precise generalization bound and a robustness certificate. We focus on the hypothesis class obtained by combining a sparsity-promoting encoder coupled with a linear classifier, and show an interesting interplay between the expressivity and stability of the (supervised) representation map and a notion of margin in the feature space. We bound the robust risk (to $\ell_2$-bounded perturbations) of hypotheses parameterized by dictionaries that achieve a mild encoder gap on training data. Furthermore, we provide a robustness certificate for end-to-end classification. We demonstrate the applicability of our analysis by computing certified accuracy on real data, and compare with other alternatives for certified robustness.

研究の動機と目的

• 理論的ロバスト性解析と実用的モデルの間のギャップを埋めるために、証明可能な一般化とロバスト性を持つ学習表現を研究すること。
• ℓ2ノルムで制限された敵対的摂動下における教師ありスパースコーディングの仮説に対する明確な一般化境界を提供すること。
• エンコーダーのギャップとモデルの特性に基づいて、敵対的攻撃下でも予測の安定性を保証するロバスト性証明を導出すること。
• MNISTおよびCIFAR-10上で、FISTAベースの最適化とAdamによるバッチ正規化を用いたエンドツーエンド学習により、敵対的摂動下での認証可能精度を実証的に検証すること。

提案手法

• 教師ありスパースエンコーダーと線形分類器を組み合わせた仮説クラスを提案し、データ表現に辞書学習を用いる。
• エンコーダーのギャップ τs、辞書の制限自己同型性（RIP）定数 ηs、および分類器のマージンに基づくロバスト性証明を導入する。
• 最小 ϵ-カバーの議論を用いてロバストリスクをバウンディングし、ℓ2摂動の大きさ ν に対して、標本複雑度が O((1+ν)²/m) のオーダーで増加することを示す。
• 訓練中はFISTAを用いて微分可能な特徴計算を実現し、推論時に正確な解を計算することでエンコーダーのギャップの妥当性を保証する。
• 摂動下での表現の安定性を示すバウンディングを導出し、敵対的攻撃下で ∥ϕD(x₀) − ϕD(x₀ + v)∥₂ ≤ ν/√(1−ηs) が成り立つことを示す。
• MNISTおよびCIFAR-10上でエンドツーエンド学習を実施し、FISTAベースの最適化とバッチ正規化を用いたAdamを用いて結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師ありスパースコーディングモデルは、ℓ2ノルムで制限された敵対的摂動に対して証明可能なロバスト性を達成できるか？
• RQ2 敵対的ノイズの存在下で、エンコーダーのギャップ τs はロバスト性にどのように関係するか？
• RQ3 辞書（例：RIP、非一様性）および分類器のマージンにどのような条件がロバスト性証明を保証するか？
• RQ4 標準的な学習と比較して、敵対的汚染下での標本複雑度はどのようにスケーリングされるか？
• RQ5 理論的ロバスト性証明は実用的に検証可能であり、他の認証可能なロバスト性手法を上回る性能を示せるか？

主な発見

• ℓ2摂動の大きさ ν に対してロバストリスクがバウンディングされ、標本複雑度が O((1+ν)²/m) のオーダーでわずかに増加する。
• ロバスト性証明が確立された：エンコーダーのギャップ τs > 2ν かつ辞書が ηs-RIP を満たす場合、任意の ∥v∥₂ ≤ ν に対して予測は変化しない。
• 表現の安定性は ∥ϕD(x₀) − ϕD(x₀ + v)∥₂ ≤ ν/√(1−ηs) でバウンディングされ、摂動下でも小さな特徴のずれが保証される。
• 多値分類では、ν ≤ min{τs(x)/2, ρx√(1−ηs)/cW} のときロバスト性が成立する。ここで ρx はマージン、cW はクラス重みベクトル間の最大対距離である。
• MNISTおよびCIFAR-10における実証的結果から、提案手法が敵対的摂動下で認証可能精度を達成し、他のベースライン手法に比べてより優れたロバスト性保証を示した。
• 辞書を非教師ありで事前学習することで収束が改善され、推論時に正確なエンコーダーのギャップを安定して計算可能になった。