[論文レビュー] Better Diffusion Models Further Improve Adversarial Training

Zekai Wang, Tianyu Pang+4 more|arXiv (Cornell University)|Feb 9, 2023

Adversarial Robustness in Machine Learning被引用数 53

ひとこと要約

この論文は、トレーニングデータ生成に最新の拡散モデル EDM を使用することが、外部データなしのまま敵対的訓練の性能を大幅に向上させ、RobustBench で最先端の堅牢性精度を達成することを示しています。

ABSTRACT

It has been recognized that the data generated by the denoising diffusion probabilistic model (DDPM) improves adversarial training. After two years of rapid development in diffusion models, a question naturally arises: can better diffusion models further improve adversarial training? This paper gives an affirmative answer by employing the most recent diffusion model which has higher efficiency ($\sim 20$ sampling steps) and image quality (lower FID score) compared with DDPM. Our adversarially trained models achieve state-of-the-art performance on RobustBench using only generated data (no external datasets). Under the $\ell_\infty$-norm threat model with $ε=8/255$, our models achieve $70.69\%$ and $42.67\%$ robust accuracy on CIFAR-10 and CIFAR-100, respectively, i.e. improving upon previous state-of-the-art models by $+4.58\%$ and $+8.03\%$. Under the $\ell_2$-norm threat model with $ε=128/255$, our models achieve $84.86\%$ on CIFAR-10 ($+4.44\%$). These results also beat previous works that use external data. We also provide compelling results on the SVHN and TinyImageNet datasets. Our code is available at https://github.com/wzekai99/DM-Improves-AT.

研究の動機と目的

• より高品質な拡散モデル（EDM）が、外部データなしで敵対的訓練の性能を向上させることを示す。
• 生成データの量、品質、および訓練戦略が堅牢性とクリーン精度に与える影響を定量化する。
• 早期停止、データ拡張、およびサンプリングステップのアブレーションを分析して、堅牢性の機構を理解する。

提案手法

• DDPM 生成データを、クラス条件付き EDM 生成データに置換して敵対的訓練を行う。
• 異なるデータセットに対して調整したβ値を用いた AT フレームワークとして TRADES を使用する。
• EDM で 1M–50M 枚の画像を生成し、各クラスの上位スコアのサンプルを選択するか、大量生成時にはすべてのデータを使用する。
• AutoAttack で堅牢性を評価し、複数の脅威モデル下でクリーン精度を報告する。
• データ量、早期停止、データ拡張、バッチサイズ、サンプリングステップに関する広範なアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 外部データなしの敵対的訓練において、EDM 生成データを組み込むことは DDPM ベースのデータを超える堅牢性精度をもたらすか？
• RQ2 データ量、早期停止、および拡張が EDM 生成データとどのように相互作用して堅牢性に影響を与えるか？
• RQ3 クラス条件付きと無条件ディフュージョンデータが AT パフォーマンスに与える影響は？
• RQ4 拡散サンプリングステップ数（およびそれによって生じるFID）が堅牢性とクリーン精度に与える影響は？

主な発見

• EDM 生成データは、外部データなしで l_infinity および l2 の脅威モデル下で CIFAR-10/ CIFAR-100 における最先端の堅牢性精度をもたらす。
• CIFAR-10 の (l_infinity, epsilon=8/255) で、WRN-70-16 は 50M 枚の生成画像を用いて 70.69% の堅牢性精度と 93.25% のクリーン精度を達成する。
• CIFAR-10 の (l2, epsilon=128/255) で、最良モデルは 84.86% の堅牢性と 95.54% のクリーン精度を達成。
• CIFAR-100 の (l_infinity, 8/255) で、最良モデルは 42.67% の堅牢性と 75.22% のクリーン精度を達成し、外部データなしの以前の SOTA を上回る。
• EDM 生成データは、DDPM ベースまたは生成データなしのベースラインと比較して、堅牢過剰適合を解消し、堅牢性と一般化のギャップを縮小する。
• 低 FID（例: 20 サンプリングステップ）を伴うクラス条件付き生成は、データセット全体で最高の性能を発揮する。