[論文レビュー] ADBM: Adversarial diffusion bridge model for reliable adversarial purification

Xiaoli Li, Wenxuan Sun+6 more|arXiv (Cornell University)|Aug 1, 2024

Adversarial Robustness in Machine Learning被引用数 1

ひとこと要約

本稿では、DiffPureが差し引く誤った仮定（拡散されたクリーンデータと adversarial データの分布が近い）に依存するのを回避し、拡散された adversarial データからクリーンデータへの直接的な逆過程を学習する、新しい adversarial diffusion bridge モデル ADBM を提案する。ADBM は、CIFAR-10 における適応的攻撃下で最大 53.5% の堅牢な正確度を達成し、DiffPure より顕著に向上した堅牢性を実現する。また、1 回の逆ステップでの学習でも、強力な一般化性能と分類器間の転送性を維持している。

ABSTRACT

Recently Diffusion-based Purification (DiffPure) has been recognized as an effective defense method against adversarial examples. However, we find DiffPure which directly employs the original pre-trained diffusion models for adversarial purification, to be suboptimal. This is due to an inherent trade-off between noise purification performance and data recovery quality. Additionally, the reliability of existing evaluations for DiffPure is questionable, as they rely on weak adaptive attacks. In this work, we propose a novel Adversarial Diffusion Bridge Model, termed ADBM. ADBM directly constructs a reverse bridge from the diffused adversarial data back to its original clean examples, enhancing the purification capabilities of the original diffusion models. Through theoretical analysis and experimental validation across various scenarios, ADBM has proven to be a superior and robust defense mechanism, offering significant promise for practical applications.

研究の動機と目的

• DiffPure が、差し引く誤った仮定（拡散されたクリーンデータと adversarial データの分布が近い）に依存するという、その性能の最適でない問題に対処すること。
• 既存の評価で弱い適応的攻撃に依存しているため、DiffPure の堅牢性が過大評価されていることの特定と是正。
• メイン分類器の再訓練を必要とせず、プラグアンドプレイで導入可能な新しい防御メカニズムの開発。
• 強力な適応的攻撃を用いた、拡散ベースの純化の信頼できる評価プロトコルの確立。
• 推論の高速化と、異なる分類器間での転送性の向上による実用性の向上。

提案手法

• ADBM は、拡散された adversarial データ分布からクリーンデータ分布への直接的な逆過程（または「ブリッジ」）を構築し、分布の類似性を仮定する必要を回避する。
• 固定されたノイズスケジュール（t）と固定された入力（x）を用いて生成された adversarial 例を用いて、事前学習済みの拡散モデルを微調整することで、安定的かつ効果的な学習を実現する。
• 拡散モデルの逆過程を活用し、ノイズが加えられ、摂動が加えられたデータからクリーンな例へのマッピングを学習することで、adversarial 入力をノイズ除去する。
• 理論的分析により、ADBM の直接的な逆ブリッジが、DiffPure が暗黙的に仮定する拡散分布間の類似性に依存するのとは異なり、より堅牢であることが示される。
• 1 ステップの逆過程を用いることで高速化され、推論コストを削減しながらも高い堅牢性を維持する。
• 特定の分類器で ADBM を微調整することで、新しいモデルの再訓練なしに転送性を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散されたクリーンデータと adversarial データの分布が近いという仮定は実際の状況で成り立つか？ また、この仮定の誤りが DiffPure の性能にどのように影響するか？
• RQ2 拡散された adversarial データからクリーンデータへの直接的な逆ブリッジは、既存の拡散ベースの純化手法を上回る性能を発揮できるか？
• RQ3 ADBM は、強力で信頼できる適応的攻撃に対して、先行手法と比較してどのように性能を発揮するか？
• RQ4 ADBM は推論コストを削減するように高速化できるか？ また、堅牢性は維持できるか？
• RQ5 ADBM は再訓練なしに、異なる分類器間で転送可能か？

主な発見

• ADBM は、CIFAR-10 における適応的攻撃（l∞、l1、l2 の脅威モデル）下で 53.5% の堅牢な正確度を達成し、DiffPure の平均 49.1% より顕著に優れている。
• 1 回の逆ステップでも、ADBM は高い堅牢性（平均 52.8% の正確度）を維持しており、高い効率性と実用性を示している。
• アブレーションスタディにより、t の固定、x の固定、分類器を用いたノイズ生成の 3 つの設計選択が、ADBM の成功に不可欠であることが確認された。
• ADBM は強力な転送性を示す：WRN-70-16 分類器で微調整した後、WRN-28-10 やビジョントランスフォーマーモデルに対しても再訓練なしに同等の堅牢な正確度を達成した。
• 強力な適応的攻撃下でも ADBM は堅牢であることが判明した。これは、先行手法の評価が弱い攻撃に依存していたため、DiffPure の評価が楽観的であったことを示している。
• ADBM は推論コストを標準的な拡散モデルの約 1/10 にまで削減し、リアルタイム応用に実用的である。