[論文レビュー] An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization

Fei Kong, Jinhao Duan+5 more|arXiv (Cornell University)|May 26, 2023

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

tldr: PIAは拡散モデルに対する高速なクエリベースのメンバーシップ推定攻撃を近接初期化（t=0）と真実軌道を用いて提案し、競争力のあるAUCと低いFPR@1%で高いTPRを少数のクエリで達成し、離散時間と連続時間、および音声生成タスクへ拡張する。

ABSTRACT

Recently, diffusion models have achieved remarkable success in generating tasks, including image and audio generation. However, like other generative models, diffusion models are prone to privacy issues. In this paper, we propose an efficient query-based membership inference attack (MIA), namely Proximal Initialization Attack (PIA), which utilizes groundtruth trajectory obtained by $ε$ initialized in $t=0$ and predicted point to infer memberships. Experimental results indicate that the proposed method can achieve competitive performance with only two queries on both discrete-time and continuous-time diffusion models. Moreover, previous works on the privacy of diffusion models have focused on vision tasks without considering audio tasks. Therefore, we also explore the robustness of diffusion models to MIA in the text-to-speech (TTS) task, which is an audio generation task. To the best of our knowledge, this work is the first to study the robustness of diffusion models to MIA in the TTS task. Experimental results indicate that models with mel-spectrogram (image-like) output are vulnerable to MIA, while models with audio output are relatively robust to MIA. {Code is available at \url{https://github.com/kong13661/PIA}}.

研究の動機と目的

• 拡散モデルのプライバシーリスクを動機づけ、画像生成および音声生成タスクのメンバーシップ推定の脆弱性を評価する。
• Groundtruth軌道から memberships を推定するためのProximal Initialization Attack（PIA）と正規化形のPIANを提案する。t=0 からの軌道を活用する。
• 離散時間および連続時間の拡散モデルへ攻撃を一般化し、複数データセットで既存のMIAsと比較する。
• 文字起こし系タスクにおける拡散モデルの出力タイプがMIAの脆弱性に影響するかを調査する。

提案手法

• DDIMベースの真実軌道を定義し、x0を知り、任意のxkを知ることでノイズゼロ時の軌道が決定されることを示す。
• PIA指標Rt,pを提案し、groundtruth点とモデルが予測する点との距離をl_pノルムで測る。
• 正規化された派生物であるPIANを導入し、epsilon出力を概略的標準正規分布へ写像する。
• PIA/PIANを画像拡散モデル（DDPMとStable Diffusion）およびGrad-TTSで評価し、Naive AttackおよびSecMIと比較する。
• 攻撃を連続時間の拡散モデルへ適用するためにSDE/ODE形式に適合させ、対応するRt,p式を導出する。
• クエリベース設定で中間拡散出力へのアクセスを前提とする脅威モデルを提供する。

実験結果

リサーチクエスチョン

• RQ1 近接初期化は離散時間および連続時間の拡散モデルの効率的なメンバーシップ推定攻撃を可能にするか。
• RQ2 PIA/PIANは画像および音声拡散タスクでNaive AttackおよびSecMIと比べてAUCとTPR@1%FPRの性能はどうか。
• RQ3 出力タイプ（メルスペクトログラム対音声）は、テキスト音声合成におけるMIAsに対する拡散モデルの頑健性を影響するか。
• RQ4 攻撃を連続時間の拡散モデルおよび確率微分方程式ベースの定式化へ拡張できるか。

主な発見

• PIAおよびPIANは、Naive Attackに対して追加クエリを1–2回のみ用いることで競争力のあるAUCと高いTPR@1%FPRを達成し、多くの設定でSecMIを上回る。
• Grad-TTS（連続時間）において、PIA/PIANはSecMIより高いTPR@1%FPRを達成し、2つのクエリと最小計算（SecMIの約3.2%）で実現。
• DDPM（離散時間）では、PIA/PIANはSecMIよりTPR@1%FPRを改善し、PIANは複数データセットで顕著な利得を示す。
• 安定拡散実験では、PIAはより良いTPR@1%FPRを示すがPIANは信頼性が低い。出力タイプと正規化が効果に影響する。
• 音響出力拡散モデル（テキストから音声へ）は頑健性の違いを示す：メルスペクトログラム（画像に似た出力）はMIに対して音声出力より脆弱である。
• 本研究はGrad-TTS、DiffWave、FastDiffを横断する音声拡散モデルへのMI労健性評価として初例である。