[論文レビュー] Guided Diffusion Model for Adversarial Purification from Random Noise

Quanlin Wu, Hang Ye+1 more|arXiv (Cornell University)|Jun 22, 2022

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

本稿では、摂動を加えた入力をガイドとして用い、ランダムノイズから逆方向に拡散プロセスを実行することで adversarial な例を洗練するガイド付き拡散モデルを提案する。CIFAR-10 において PGD-ℓ∞ 攻撃（ε=8/255）に対して 89.62% のロバスト精度を達成し、無ガイド拡散洗練とランダムスムージングの理論的関連性を確立することで、ベースライン手法よりも向上した保証半径を有する認証ロバスト性を実現する。

ABSTRACT

In this paper, we propose a novel guided diffusion purification approach to provide a strong defense against adversarial attacks. Our model achieves 89.62% robust accuracy under PGD-L_inf attack (eps = 8/255) on the CIFAR-10 dataset. We first explore the essential correlations between unguided diffusion models and randomized smoothing, enabling us to apply the models to certified robustness. The empirical results show that our models outperform randomized smoothing by 5% when the certified L2 radius r is larger than 0.5.

研究の動機と目的

• 拡散モデルを用いたより効果的で認証可能な防御を、adversarial 攻撃に対して開発すること。
• 無ガイド拡散洗練とランダムスムージングの理論的関連性を、認証ロバスト性の観点から探求すること。
• adversarial 入力を用いてランダムノイズから拡散プロセスをガイドすることで、adversarial 洗練のロバスト性と効率を向上させること。
• DDIM を用いた拡散ベースの洗練における推論速度とロバスト性のトレードオフを分析すること。
• ガイド付き拡散洗練が、特に大きな ℓ2 半径において、既存手法を上回る認証ロバスト性を示すことを実証すること。

提案手法

• 本手法は、綺麗な画像に徐々にガウスノイズを追加する前向きの拡散プロセスを逆方向に実行するためのノイズ除去拡散確率的モデル（DDPM）を用いる。
• ノイズ除去ネットワークが adversarial 入力に条件付けられるガイド付き逆プロセスを導入することで、ランダムノイズから綺麗な画像を回復可能にし、入力の意味的構造を保持する。
• 逆プロセスは、学習された平均と分散を有するマルコフ連鎖として定式化され、平均はパラメータ θ を持つニューラルネットワークによって予測される。
• 固定ノイズスケジュールを用いる非マルコフ的逆プロセスにより DDIM を活用することで、ステップ数を 1000 から 50 に削減し、推論を高速化する。
• 理論的分析により、無ガイド拡散プロセスが局所的スムージングを近似することを示し、認証ロバスト性の保証を導出可能である。
• 認証ロバスト性は、拡散プロセスをランダムスムージング機構として扱い、モデルのノイズ耐性から導かれる認証 ℓ2 半径を用いて確立される。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズから始めるガイド付き拡散洗練は、無ガイド拡散およびランダムスムージングを上回る認証ロバスト性を達成できるか？
• RQ2 無ガイド拡散ベースの洗練とランダムスムージングの理論的関係は何か？
• RQ3 ガイド付き拡散プロセスは、認証ロバスト性半径およびテスト精度にどのように影響を与えるか？
• RQ4 DDIM を用いた推論速度と拡散ベースの adversarial 洗練におけるロバスト性のトレードオフは何か？
• RQ5 拡散モデルは、既存の生成モデルベースのアプローチよりも強力な認証防御を提供できるか？

主な発見

• 提案されたガイド付き拡散モデルは、CIFAR-10 において PGD-ℓ∞ 攻撃（ε=8/255）に対して 89.62% のロバスト精度を達成し、標準的な adversarial 訓練ベースラインを上回る。
• 本手法は、拡散プロセスを局所的スムージングの一種として活用することで、adversarial パーティクルに対する保証可能な保証を可能にする。
• 認証 ℓ2 半径 r > 0.5 の場合、本手法はランダムスムージングを 5% 上回るテスト精度を示し、優れた認証ロバスト性を実証する。
• ランダムノイズから始めるガイド付き洗練は、無ガイド拡散に比べて顕著にロバスト性が向上しており、ガイドがノイズから綺麗な画像を回復するのを支援している。
• DDIM の使用により、32×32 画像あたりの推論時間が約 0.92 秒に短縮され、標準的な DDPM よりも効率が向上した。
• 理論的分析により、無ガイド拡散プロセスが局所的スムージングを近似することが確認され、認証防御への適用が正当化されるが、ガイド付き設定におけるタイトな境界は未解決の課題のままである。