[論文レビュー] Differentially Private Diffusion Models

Tim Dockhorn, Tianshi Cao+2 more|arXiv (Cornell University)|Oct 18, 2022

Privacy-Preserving Technologies in Data被引用数 21

ひとこと要約

論文は、DP-SGDで訓練されたDifferentially Private Diffusion Models (DPDMs) とノイズ多重化技法を導入し、最先端のプライベート画像生成と強力な下流分類性能を実現する。

ABSTRACT

While modern machine learning models rely on increasingly large training datasets, data is often limited in privacy-sensitive domains. Generative models trained with differential privacy (DP) on sensitive data can sidestep this challenge, providing access to synthetic data instead. We build on the recent success of diffusion models (DMs) and introduce Differentially Private Diffusion Models (DPDMs), which enforce privacy using differentially private stochastic gradient descent (DP-SGD). We investigate the DM parameterization and the sampling algorithm, which turn out to be crucial ingredients in DPDMs, and propose noise multiplicity, a powerful modification of DP-SGD tailored to the training of DMs. We validate our novel DPDMs on image generation benchmarks and achieve state-of-the-art performance in all experiments. Moreover, on standard benchmarks, classifiers trained on DPDM-generated synthetic data perform on par with task-specific DP-SGD-trained classifiers, which has not been demonstrated before for DP generative models. Project page and code: https://nv-tlabs.github.io/DPDM.

研究の動機と目的

• 差分プライバシーの下で拡散モデルを訓練する動機づけを行い、プライベートな合成データ生成を実現する。
• DMのパラメータ化とサンプリングがDP性能と有用性にどう影響するかを調査する。
• DP-SGD下で勾配の分散を低減するためにノイズ多重性を導入する。
• 標準ベンチマークで最先端のDP画像合成結果を示す。
• DPDM生成データで訓練された分類器が、タスク固有のDP分類器に匹敵できることを示す。

提案手法

• 各データ点ごとの勾配クリッピングとガウシアンノイズを用いてDP-SGDを適用し拡散モデルを訓練する。
• ノイズ多重性を導入する：勾配クリッピング/ノイズ付与の前にデータ点ごとにK個のノイズサンプルに対して損失を計算する。
• 4つのDM設定（分散保存/爆発、v-prediction、EDM）とそれらのノイズスケジュールを評価する。
• DP下で知覚品質を向上させるために確率的なDMサンプリング（DDIM/Churn）を使用する。
• Rényi DPによるプライバシーアカウンティングを提供し、(ε,δ)-DPへ変換する；DPDM訓練に対するDP保証を証明する。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDを用いた差分プライバシー下の拡散モデルは高品質な合成データを生み出す訓練が可能か？
• RQ2 DMのパラメータ化とサンプリング戦略はDPの有用性とプライバシーのトレードオフに影響するか？
• RQ3 提案されたノイズ多重性はDP下で学習効率とプライバシー有用性を改善するか？
• RQ4 DPDMは従来のDP生成法と比較して、標準の画像合成ベンチマークと下流の分類タスクでどのように性能を示すか？

主な発見

• DPDMは、MNISTなどの一般的なベンチマークで、プライバシー予算を横断して最先端のDP画像合成を達成する。
• DP ε=1のMNISTで、DPDMはFID 23.4と、DPDMデータで訓練された実データ分類器の下流分類正確度95.3%を達成。
• DPDM生成データは、タスク固有のDP訓練済み識別モデルに匹敵する性能を持つ分類器を訓練できる。
• ノイズ多重性は勾配分散を低減し、プライバシー予算を増やすことなく学習効率を向上させる。
• 類似のプライバシー制約下で、DP-SGDに基づく拡散モデルの訓練はDPで訓練されたGANより安定している。