[論文レビュー] Robust Classification via a Single Diffusion Model

Huanran Chen, Yinpeng Dong+5 more|arXiv (Cornell University)|May 24, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、事前学習済みの拡散モデルから構築された生成的分類器、ロバスト拡散分類器（RDC）を提案する。RDCは、ベイズの定理を用いてクラス確率を計算する前に、入力の尤度を最大化することで、敵対的ロバストネスを向上させる。CIFAR-10においてℓ∞ノイズ（ε=8/255）に対して73.24%のロバスト正答率を達成し、先行する敵対的訓練手法を2.34%上回り、タスク固有のファインチューニングなしに未観測の脅威モデルに対しても良好に一般化する。

ABSTRACT

Diffusion models have been applied to improve adversarial robustness of image classifiers by purifying the adversarial noises or generating realistic data for adversarial training. However, diffusion-based purification can be evaded by stronger adaptive attacks while adversarial training does not perform well under unseen threats, exhibiting inevitable limitations of these methods. To better harness the expressive power of diffusion models, this paper proposes Robust Diffusion Classifier (RDC), a generative classifier that is constructed from a pre-trained diffusion model to be adversarially robust. RDC first maximizes the data likelihood of a given input and then predicts the class probabilities of the optimized input using the conditional likelihood estimated by the diffusion model through Bayes' theorem. To further reduce the computational cost, we propose a new diffusion backbone called multi-head diffusion and develop efficient sampling strategies. As RDC does not require training on particular adversarial attacks, we demonstrate that it is more generalizable to defend against multiple unseen threats. In particular, RDC achieves $75.67\%$ robust accuracy against various $\ell_\infty$ norm-bounded adaptive attacks with $ε_\infty=8/255$ on CIFAR-10, surpassing the previous state-of-the-art adversarial training models by $+4.77\%$. The results highlight the potential of generative classifiers by employing pre-trained diffusion models for adversarial robustness compared with the commonly studied discriminative classifiers. Code is available at \url{https://github.com/huanranchen/DiffusionClassifier}.

研究の動機と目的

• 既存の敵対的ロバストネス手法が判別的分類器に依存しており、未観測の脅威に対しては失敗することの限界を解消すること。
• 特に拡散モデルを含む生成的モデルが、本質的にロバストな分類器を構築する可能性を探索すること。
• 特定の敵対的攻撃に対して再訓練を必要としない防御機構を開発し、多様な脅威モデルに一般化可能にすること。
• 拡散モデルの正確なスコア推定およびデータ分布モデリング能力を活用してロバストネスを向上させること。

提案手法

• ベイズの定理を用いてクラス確率p(y|x)を推定し、事前確率p(y)と事前学習済みの拡散モデルから得られる条件付き尤度pθ(x|y)を組み合わせる。
• 各クラスについて複数のタイムステップにわたるノイズ予測損失を計算することで、条件付き尤度を変分下界によって近似する。
• 入力画像の対数尤度を最大化するための事前最適化ステップを実施し、勾配上昇法を用いて尤度が高い領域に向かって反復的に摂動を加える。
• ロバストネスと誤分類リスクのバランスを取るために、予算η=8/255を用いたモーメンタムベースの最適化手法を採用する。
• 計算コストを削減しながら性能を維持するため、タイムステップの体系的サンプリングを採用する。
• 攻撃で正確な勾配を使用することで勾配の遮断を回避し、ロバストネスが防御的遮断によるものでないことを確認する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のファインチューニングなしに、事前学習済みの拡散モデルを直接ロバスト分類器として再利用可能か？
• RQ2 入力の尤度最大化が生成的分類フレームワークにおけるロバストネスを向上させるか？
• RQ3 判別的敵対的訓練と比較して、拡散モデルに基づく分類器は未観測の脅威モデルに優れた一般化性能を示せるか？
• RQ4 最適化予算およびサンプリング戦略の選択がロバストネスと正答率に与える影響は？
• RQ5 RDCのロバストネスは勾配の遮断によるものか、それともモデルの本質的性質に起因するか？

主な発見

• RDCはCIFAR-10においてℓ∞ノイズ（ε=8/255）に対して73.24%のロバスト正答率を達成し、先行するSOTAの敵対的訓練モデルを2.34%上回る。
• 未観測の脅威モデルに対しても良好に一般化し、最適化中に使用された特定の攻撃を超えたロバストネスを示す。
• 尤度最大化の事前処理ステップにより、入力が尤度が高い領域に移動し、敵対的摂動に対する脆弱性が低減する。
• BPDA攻撃がRDCに対して73.24%のロバスト正答率を達成したため、ロバストネスが勾配の遮断によるものではなく、モデルの本質的性質に起因することが確認された。
• 尤度最適化にモーメンタムを用いることで、非モーメンタム最適化と比較してロバストネスが約7パーセンテージポイント向上した。
• 損失計算に用いるタイムステップ数T′を減らすと、クリーン正答率にはほとんど影響しないが、ロバスト正答率は顕著に低下するため、完全または体系的なタイムステップカバレッジの重要性が示された。