[論文レビュー] White-box Membership Inference Attacks against Diffusion Models

Yan Pang, Tianhao Wang+3 more|arXiv (Cornell University)|Aug 11, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、損失の代わりに勾配に基づく特徴を用いた、拡散モデルに対する新しいホワイトボックス型メンバーシップ推定攻撃を提案する。複数のモデルとデータセットにおいて、ほぼ100％の攻撃成功率（最大100％）とAUCROCが1.0に近い結果を達成し、勾配が損失のみに比べてモデルの過学習をより感受性高く示す指標であることを示している。

ABSTRACT

Diffusion models have begun to overshadow GANs and other generative models in industrial applications due to their superior image generation performance. The complex architecture of these models furnishes an extensive array of attack features. In light of this, we aim to design membership inference attacks (MIAs) catered to diffusion models. We first conduct an exhaustive analysis of existing MIAs on diffusion models, taking into account factors such as black-box/white-box models and the selection of attack features. We found that white-box attacks are highly applicable in real-world scenarios, and the most effective attacks presently are white-box. Departing from earlier research, which employs model loss as the attack feature for white-box MIAs, we employ model gradients in our attack, leveraging the fact that these gradients provide a more profound understanding of model responses to various samples. We subject these models to rigorous testing across a range of parameters, including training steps, sampling frequency, diffusion steps, and data variance. Across all experimental settings, our method consistently demonstrated near-flawless attack performance, with attack success rate approaching 100% and attack AUCROC near 1.0. We also evaluate our attack against common defense mechanisms, and observe our attacks continue to exhibit commendable performance.

研究の動機と目的

• 拡散モデルがメンバーシップ推定攻撃（MIA）に対して示すセキュリティ上の脆弱性、特に現実世界のホワイトボックス環境における課題に取り組むこと。
• モデルの損失よりも勾配情報が、訓練データへの所属を検出するためのより効果的な信号を提供するかを調査すること。
• 高次元の勾配データを効率的に圧縮しながらも攻撃効果を維持する計算効率の高いフレームワークを設計すること。
• 一般的な防御機構に対する提案攻撃の頑健性を評価すること。
• 多様なアーキテクチャとデータセットを用いて、勾配に基づく特徴を用いた拡散モデルにおけるメンバーシップ推定の新しいベンチマークを確立すること。

提案手法

• バックプロパゲーション後のモデル勾配を攻撃特徴として活用する、勾配ベースのメンバーシップ推定攻撃フレームワーク「Subsampling and Aggregationに基づく勾配攻撃（GSA）」を提案する。
• 精度と計算コストのバランスを取るために、勾配の部分サンプリングおよび集約戦略が異なる2つの変種、GSA₁およびGSA₂を導入する。
• 大規模な拡散モデルにおける勾配の高次元性に対処するため、空間的およびチャネルワイドのプーリングを用いて次元削減を実施する。
• 特定の層からの勾配のL2ノルムを、訓練済みの攻撃分類器の入力として用い、訓練済みサンプルと非訓練済みサンプルを区別する。
• 攻撃中に完全なモデルパラメータと勾配計算が利用可能であるホワイトボックス設定を採用する。
• CIFAR-10、ImageNet、MS COCOデータセットを用いて、非条件DDPMおよび最先端のテキスト対画像生成モデルImagenの両方でフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの勾配情報は、メンバーシップ推定攻撃において、モデルの損失よりもより効果的な特徴として機能するか？
• RQ2 DDPMやImagenのような異なるモデルアーキテクチャにおいて、勾配ベースのMIAの性能はどのように変化するか？
• RQ3 訓練ステップ数、サンプリング頻度、拡散ステップ数といったハイパーパrameterが攻撃成功率に与える影響は何か？
• RQ4 提案されたGSAフレームワークは、高い攻撃精度を維持しつつ、計算オーバーヘッドをどの程度低減できるか？
• RQ5 プライバシー蒸留やモデル微調整といった一般的な防御機構に対して、勾配ベースのMIAはどの程度耐性を示すか？

主な発見

• 提案された勾配ベースの攻撃は、評価されたすべての設定においてほぼ100％のメンバーシップ推定成功率を達成し、最先端のImagenモデルに対しても同様に有効である。
• 攻撃のAUCROCは一貫して1.0に近く、訓練済みサンプルと非訓練済みサンプルの区別がほぼ完璧に行われていることを示している。
• 既存の損失ベースのホワイトボックス型MIAを上回り、さまざまなデータセットおよびモデル設定において、優れた安定性と正確性を示している。
• GSAフレームワークは、性能の低下を最小限に抑えつつ勾配の次元を効果的に圧縮でき、大規模モデルへの効率的な展開を可能にしている。
• プライバシー蒸留やウォーターマーキングといった標準的な防御が適用されても攻撃は依然として有効であるため、現在の防御戦略の有効性は限定的であることが示された。
• 勾配情報は損失よりも、モデルの過学習をより洗練され、感受性の高い指標として提供することができ、本研究の核心仮説を裏付けた。