[論文レビュー] DiffSmooth: Certifiably Robust Learning via Diffusion Models and Local Smoothing

Jiawei Zhang, Zhong‐Zhu Chen+3 more|arXiv (Cornell University)|Aug 28, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、拡散モデルに基づく敵対的浄化と局所スムージングを組み合わせることで、最先端の証明可能ロバスト性を達成する、DiffSmoothと呼ばれる証明可能ロバストな学習フレームワークを提案する。まず1ショットDDPMを用いて摂動を加えた入力をノイズ除去し、その後局所スムージングを適用することで、認証可能精度を向上させる。ImageNetにおいてℓ₂半径1.5の条件下で53.0%の認証可能精度を達成し、前回SOTAの36.0%に対して顕著な向上を示した。

ABSTRACT

Diffusion models have been leveraged to perform adversarial purification and thus provide both empirical and certified robustness for a standard model. On the other hand, different robustly trained smoothed models have been studied to improve the certified robustness. Thus, it raises a natural question: Can diffusion model be used to achieve improved certified robustness on those robustly trained smoothed models? In this work, we first theoretically show that recovered instances by diffusion models are in the bounded neighborhood of the original instance with high probability; and the "one-shot" denoising diffusion probabilistic models (DDPM) can approximate the mean of the generated distribution of a continuous-time diffusion model, which approximates the original instance under mild conditions. Inspired by our analysis, we propose a certifiably robust pipeline DiffSmooth, which first performs adversarial purification via diffusion models and then maps the purified instances to a common region via a simple yet effective local smoothing strategy. We conduct extensive experiments on different datasets and show that DiffSmooth achieves SOTA-certified robustness compared with eight baselines. For instance, DiffSmooth improves the SOTA-certified accuracy from $36.0\%$ to $53.0\%$ under $\ell_2$ radius $1.5$ on ImageNet. The code is available at [https://github.com/javyduck/DiffSmooth].

研究の動機と目的

• 大きな摂動半径下での既存の拡散モデルベース防御の限界的な証明可能ロバスト性を改善すること。
• DensePureなどの先行手法で見られるマルチショット逆拡散の高い計算コストを克服すること。
• 拡散モデルのノイズ除去特性と局所スムージングを活用して、スムージング分類器の証明可能ロバスト性を向上させること。
• 1ショットDDPMによる元の入力の近似と回復されたインスタンスの有界性について理論的裏付けを提供すること。
• 高い自然精度を維持しながら優れた証明可能ロバスト性を達成する実用的で効率的なパイプラインを開発すること。

提案手法

• 事前学習済みのDDPMを用いて1ショットのノイズ除去ステップを実行し、敵対的またはガウスノイズを加えた入力を浄化し、元の入力に近い復元されたインスタンスを回復する。
• 理論的分析により、弱い条件下でも、復元出力が元の入力の有界な近傍に高確率で存在することを示した。
• 回復されたインスタンスを局所スムージング戦略の入力として使用し、複数のノイズを加えたバージョンを生成し、頑健に訓練されたスムージング分類器で分類する。
• 局所的に摂動を加えた復元されたインスタンスに対してスムージング分類器の予測を多数決することで、確率的認証を提供する。
• 認証可能ロバスト性を最大化するように、局所スムージングノイズの大きさ（σ′）とスムージングサンプル数（m）を最適化する。
• DDSなどのベースラインと公平な比較を保つために、ImageNetでは固定された予測クエリ数（例：10,000）を維持する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの浄化は、大きな摂動半径下でもスムージング分類器の証明可能ロバスト性を向上させることができるか？
• RQ2 拡散ベースのノイズ除去と局所スムージングを組み合わせることで、単独の拡散モデルやランダムスムージングに比べてより優れた証明可能ロバスト性が得られるか？
• RQ3 局所スムージングノイズの大きさ（σ′）の選択が、認証可能精度と自然精度に与える影響は何か？
• RQ4 1ショットDDPM近似は、元の入力分布を効果的に回復できるか？これにより、ロバストネス認証が可能になるか？
• RQ5 本手法の計算ボトルネックは、拡散ステップか、局所スムージングステップのどちらに起因するか？

主な発見

• DiffSmoothは、ImageNetにおいてℓ₂半径1.5の条件下で53.0%の認証可能精度を達成し、前回SOTAの36.0%に対して顕著な向上を示した。
• DDSと同等の計算コスト（ImageNetでは10,000回の予測クエリ）を維持しながら、より高い認証可能ロバスト性と自然精度を達成した。
• m=5の局所スムージングサンプルのみで非自明な認証可能ロバスト性が達成されたため、拡散ステップを超えた計算的効率性が示された。
• 手法の性能はσ′の選択に敏感であり、最適値は下位のスムージングモデルに依存する（例：ガウススムージングではσ′ ≈ σ、SmoothAdvではσ′ ≈ σ/2）。
• 主な計算コストは、ImageNetで1画像あたり553秒を要する逆拡散ステップに起因しており、局所スムージングは比較的軽量である。
• 局所スムージング単体では、標準的なランダムスムージングを超える認証可能精度を向上させることはできず、σ′が大きすぎると性能が低下するため、拡散浄化ステップの必要性が裏付けられた。