[論文レビュー] Membership Inference of Diffusion Models

Hailong Hu, Jun Pang|arXiv (Cornell University)|Jan 24, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は拡散モデルに対するメンバーシップ推論攻撃を研究し、損失ベースおよび尤度ベースの攻撃を提案・評価し、複数の拡散モデルとプライバシー感受性データセットで検証し、差分プライバシーによる防御を検討している。

ABSTRACT

Recent years have witnessed the tremendous success of diffusion models in data synthesis. However, when diffusion models are applied to sensitive data, they also give rise to severe privacy concerns. In this paper, we systematically present the first study about membership inference attacks against diffusion models, which aims to infer whether a sample was used to train the model. Two attack methods are proposed, namely loss-based and likelihood-based attacks. Our attack methods are evaluated on several state-of-the-art diffusion models, over different datasets in relation to privacy-sensitive data. Extensive experimental evaluations show that our attacks can achieve remarkable performance. Furthermore, we exhaustively investigate various factors which can affect attack performance. Finally, we also evaluate the performance of our attack methods on diffusion models trained with differential privacy.

研究の動機と目的

• 拡散モデルが機微なデータで訓練された場合のプライバシー懸念を動機づける。
• 2つの脅威モデルの下で拡散モデルに対するメンバーシップ推論攻撃を導入・形式化する。
• 拡散モデルの損失ベースおよび尤度ベースの攻撃手法を開発する。
• 複数の拡散モデルとデータセットに対して攻撃の有効性を評価する。
• 差分プライバシーによる防御とそのデータ有用性および攻撃有効性への影響を検討する。

提案手法

• 2つの脅威モデルを定義する：標的拡散モデルへのアクセス（損失ベース攻撃）とサンプル尤度へのアクセス（尤度ベース攻撃）。
• 離散SDE（DDPM, SMLD）および連続SDE（VPSDE, VESDE）に対して、逐次再構成損失を計算して損失ベース攻撃の指標を導出する。
• 拡散モデルの対数尤度公式とSkilling-Hutchinson トレース推定量を用いて必要な発散項を計算する尤度ベース攻撃を定義する。
• FFHQ-1kおよび DRD で訓練された4つの拡散モデル（DDPM, SMLD, VPSDE, VESDE）に対して攻撃を適用し、FIDおよびROCベースのプライバシ指標で評価する。
• 攻撃性能に対する拡散ステップ、データセットサイズ、および DP-SGD 防御の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの訓練データのメンバーシップを推定するメンバーシップ推論は可能か。
• RQ2 損失ベースおよび尤度ベースの攻撃は、異なる拡散モデルおよび拡散ステップでどのように性能を示すか。
• RQ3 訓練データセットサイズはメンバーシップ漏洩にどのように影響するか。
• RQ4 差分プライバシーは拡散モデルのメンバーシップ漏洩を軽減するか、データの有用性とのトレードオフはどうなるか。

主な発見

• 損失ベース攻撃は、拡散ステップを問わず高い真陽性率(TPR)を非常に低い偽陽性率(FPR)で達成できる。例えば、FFHQ-1k のステップ200で DDPM に対して FPR 0.01% で TPR が最大100%に達する。
• 尤度ベースの攻撃は強い漏洩を生み、FPRに対して高いTPRを示す。例として FFHQ で SMLD はすべてのFPRで100%のTPRを、VPSDE/ VESDE では高いTPRを示す。
• 漏洩は低ノイズの拡散ステップで最も強く、訓練データセットサイズが増えると弱まるが、いくつかのステップは依然として脆弱。
• 医療データセット DRD でも同様の脆弱性パターンを示し、特定の拡散ステップで強い漏洩が見られる。
• DP-SGD は漏洩を減少させるものの、モデルの有用性を大きく低下させる（FIDの大きな変化）ことから、プライバシーと有用性のトレードオフを示す。
• DP-SGD で訓練したモデルでも極めて低いFPRでの漏洩は依然として見られる場合があり、対策は一定程度で効果的。