[論文レビュー] Multi-scale Diffusion Denoised Smoothing

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|Oct 25, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、1つの拡散モデルを用いて複数のノイズスケールにわたり、復元可能な画像に対して一貫した出力を生成し、そうでない場合には多様な出力を生成するように微調整することで、ランダムスムージングにおける精度-耐性トレードオフを改善する、マルチスケール拡散ノイズ除去スムージングを提案する。この手法により、ImageNet上で最先端の認証可能耐性を達成するとともに、非スムージングモデルに近い高い精度を維持することができる。

ABSTRACT

Along with recent diffusion models, randomized smoothing has become one of a few tangible approaches that offers adversarial robustness to models at scale, e.g., those of large pre-trained models. Specifically, one can perform randomized smoothing on any classifier via a simple "denoise-and-classify" pipeline, so-called denoised smoothing, given that an accurate denoiser is available - such as diffusion model. In this paper, we present scalable methods to address the current trade-off between certified robustness and accuracy in denoised smoothing. Our key idea is to "selectively" apply smoothing among multiple noise scales, coined multi-scale smoothing, which can be efficiently implemented with a single diffusion model. This approach also suggests a new objective to compare the collective robustness of multi-scale smoothed classifiers, and questions which representation of diffusion model would maximize the objective. To address this, we propose to further fine-tune diffusion model (a) to perform consistent denoising whenever the original image is recoverable, but (b) to generate rather diverse outputs otherwise. Our experiments show that the proposed multi-scale smoothing scheme combined with diffusion fine-tuning enables strong certified robustness available with high noise level while maintaining its accuracy close to non-smoothed classifiers.

研究の動機と目的

• 大規模モデルにおける長年の精度-耐性トレードオフを解決すること。
• マルチスケールスムージングが、精度を犠牲にすることなく認証可能耐性を向上させられるかを検討すること。
• ノイズ除去スムージングパイプラインにおける性能向上を図るための拡散モデルの微調整戦略を開発すること。
• 事前学習済み分類器と互換性があり、証明可能でスケーラブルな防御手法を提供すること。

提案手法

• 拡散モデルのスケールフリー特性を活かし、異なるノイズスケールを持つ複数のスムージング分類器を統合することでマルチスケールスムージングを提案する。
• 複数スケールにわたる集団的認証可能耐性を最大化するための新しい最適化目的関数を導入する。
• 1つの拡散モデルを用いて、複数のノイズレベルでのノイズ除去入力を効率的に生成する。
• 元の画像が復元可能である場合に一貫したノイズ除去を実行し、そうでない場合には多様な出力を生成するように拡散モデルを微調整する。
• 合計が1になる制約のもとで、認証半径を最大化する最適なノイズスケール重みを求めるために1次元グリッドサーチ最適化を適用する。
• KKT条件と解析的補題を用いて、特定のノイズスケールが重みの集約に寄与しない条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールスムージングは、ノイズ除去スムージングにおける高い精度を維持したまま、認証可能耐性を向上させられるか？
• RQ2 ノイズ除去スムージングの性能を向上させるために、拡散モデルを最適に微調整する方法は何か？
• RQ3 スケールごとにスムージングを選択的に適用することで、均一なスムージングに比べてより優れた耐性-精度トレードオフが達成できるか？
• RQ4 1つの拡散モデルが、スケーラブルで効率的な方法で複数のノイズスケールを効果的にサポートできるか？
• RQ5 拡散モデルにおけるどの表現や学習目的が、複数スケールにわたる集団的耐性を最大にするか？

主な発見

• 提案されたマルチスケールスムージング手法は、ImageNetにおいて最先端のℓ₂認証可能耐性を達成した。
• 本手法は非スムージング分類器とほぼ同等のテスト精度を維持しており、精度-耐性トレードオフの面で顕著な改善を示した。
• 復元可能な画像に対して一貫した出力を生成し、そうでない場合には多様な出力を生成するように拡散モデルを微調整することで、耐性が向上した。
• 最適化フレームワークにより、認証可能耐性半径を最大化するノイズスケール重みが正しく計算された。
• 実験結果から、本手法は有効な耐性証明を提供し、大規模モデルに対してもスケーラブルであることが示された。
• 本手法は、適切にキャリブレーションされた入力依存スムージングが、従来の壊れやすい手法とは異なり、耐性と精度の両方を達成できることを示した。