[論文レビュー] Robust Learning Meets Generative Models: Can Proxy Distributions Improve Adversarial Robustness?

Vikash Sehwag, Saeed Mahloujifar+5 more|arXiv (Cornell University)|Apr 19, 2021

Adversarial Robustness in Machine Learning被引用数 31

ひとこと要約

この論文は条件付き Wasserstein 距離を用いて代理分布（合成データ）から実データへのロバストネス移転を formalize し、拡散モデルベースの生成器が PORT（代理データによるロバストトレーニング）で使用されると敵対的ロバストネスと認定ロバストネスを改善することを示す。

ABSTRACT

While additional training data improves the robustness of deep neural\nnetworks against adversarial examples, it presents the challenge of curating a\nlarge number of specific real-world samples. We circumvent this challenge by\nusing additional data from proxy distributions learned by advanced generative\nmodels. We first seek to formally understand the transfer of robustness from\nclassifiers trained on proxy distributions to the real data distribution. We\nprove that the difference between the robustness of a classifier on the two\ndistributions is upper bounded by the conditional Wasserstein distance between\nthem. Next we use proxy distributions to significantly improve the performance\nof adversarial training on five different datasets. For example, we improve\nrobust accuracy by up to 7.5% and 6.7% in $\\ell_{\\infty}$ and $\\ell_2$ threat\nmodel over baselines that are not using proxy distributions on the CIFAR-10\ndataset. We also improve certified robust accuracy by 7.6% on the CIFAR-10\ndataset. We further demonstrate that different generative models bring a\ndisparate improvement in the performance in robust training. We propose a\nrobust discrimination approach to characterize the impact of individual\ngenerative models and further provide a deeper understanding of why current\nstate-of-the-art in diffusion-based generative models are a better choice for\nproxy distribution than generative adversarial networks.\n

研究の動機と目的

• 代理分布（合成データ）を用いて追加の実データを収集せずに敵対的ロバストネスを向上させる動機づけと formalize。
• 代理データ分布と実データ分布の条件付き Wasserstein 距離によってロバストネス移転が規定されることを示す界を導出する。
• ARC を、ロバストネス移転のために代理分布を評価する実用的な代理指標として提案する。
• 実データと合成データを組み合わせて、クリーン精度とロバスト精度の両方を改善する、 PORT というロバストトレーニングフレームワークを開発する。

提案手法

• 平均ロバストネスを定義し、ロバストネス移転を経験的ロバストネス、一般化ペナルティ、分布シフトペナルティに分解する。
• 実データ分布と代理分布間の分布シフトペナルティを束縛するために条件付き Wasserstein 距離 cwd を導入する。
• ARC（robust discrimination accuracy vs perturbation の下の面積）を cwd の実用的な代理指標として提案し、その関係（cwd ≥ 4*ARC）を示す。
• 混合パラメータ γ を用いて実データと代理データの損失を総合し、敵対的トレーニング目的（PGD または ランダム化平滑化）で PORT を開発する。
• 頑健識別子を導入して敵対的摂動下で分布間の近さを測定し、合成サンプルを選択するための synthetic-score を定義する。
• 5つのデータセットを用いて拡散ベースの代理がロバストネス移転においてGANよりも優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 Q1: 代理分布から実データ分布へのロバストネス移転はいつ起こるのか？
• RQ2 Q2: 代理分布は実世界のデータセットでの敵対的ロバストネスをどれくらい効果的に向上させるのか？
• RQ3 Q3: ロバストトレーニングを最も効果的に支援する代理分布を予測する指標を開発できるか？
• RQ4 Q4: 異なる生成モデル（拡散vsGAN）はロバストネーション移転と認定ロバストネスにどのような影響を与えるのか？

主な発見

• 代理分布は複数のデータセットと脅威モデルにわたり、敵対的ロバストネスと認定ロバストネスを大幅に向上させることができる。
• ロバスト精度の向上は ℓ∞ で最大7.5%、ℓ2 で最大6.7%に達する；CIFAR-10 の認定ロバストネスは7.6%向上。
• 拡散ベースの生成器はロバストネス移転の代理分布としてGANより優れている。
• ARC はロバストネス移転のランキングを効果的に予測し、cwd と整合する一方、FID/IS を代理指標として超える。
• 合成データの適応サンプリングはロバストネーションに小さな追加利得をもたらす。
• synthetic data を用いた PORT は、実世界のサンプル数を抑えつつ基準値のロバスト性を満たすか、それを上回り、クリーンおよびロバスト精度の両方を強化する。