[論文レビュー] Differentially Private Latent Diffusion Models

M Liu, Saiyue Lyu+2 more|arXiv (Cornell University)|May 25, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文では、潜在拡散モデル（LDM）のアテンションモジュールとコンditionィング埋め込み器を微調整することで、DP-SGDを用いて、最先端の差分プライバシーを実現する画像生成手法であるDP-LDMを提案する。潜在空間で学習し、訓練可能なパラメータを約90%削減することで、256×256の高品質な画像を生成可能となり、CIFAR10、CelebA64、CelebAHQの各データセットで、ε=10の条件下でFIDスコアが19.0にまで低下し、先行研究を上回る性能を達成した。

ABSTRACT

Diffusion models (DMs) are one of the most widely used generative models for producing high quality images. However, a flurry of recent papers points out that DMs are least private forms of image generators, by extracting a significant number of near-identical replicas of training images from DMs. Existing privacy-enhancing techniques for DMs, unfortunately, do not provide a good privacy-utility tradeoff. In this paper, we aim to improve the current state of DMs with differential privacy (DP) by adopting the extit{Latent} Diffusion Models (LDMs). LDMs are equipped with powerful pre-trained autoencoders that map the high-dimensional pixels into lower-dimensional latent representations, in which DMs are trained, yielding a more efficient and fast training of DMs. Rather than fine-tuning the entire LDMs, we fine-tune only the $ extit{attention}$ modules of LDMs with DP-SGD, reducing the number of trainable parameters by roughly $90\%$ and achieving a better privacy-accuracy trade-off. Our approach allows us to generate realistic, high-dimensional images (256x256) conditioned on text prompts with DP guarantees, which, to the best of our knowledge, has not been attempted before. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs, producing high-quality DP images. Our code is available at https://anonymous.4open.science/r/DP-LDM-4525.

研究の動機と目的

• 大規模モデルにおけるDP-SGDのスケーラビリティの問題を鑑み、高品質な差分プライバシーを保証する拡散モデル（DM）を訓練する課題に取り組むこと。
• 全DMをDP-SGDで訓練する既存の微調整手法を改善し、訓練可能なパラメータ数を削減すること。
• 256×256の高次元画像生成、特にテキスト条件付きおよびクラス条件付き生成を、これまでにない形で実現すること。
• 全モデルのDP学習と比較して、計算コストと炭素排出量を低減することで、DP画像生成の民主化を図ること。

提案手法

• LAION-400MやImageNetなどの公開データを用いて、オートエノードと拡散U-Netを含む全LDMを事前学習する。
• プライベートデータ上で、DP-SGDを用いてアテンションモジュールとコンディショニング埋め込み器（例：テキストプロンプト用のBERT）のみを微調整し、訓練可能なパラメータ数を著しく削減（全モデルの約10%に）。
• 事前学習済みオートエノードを用いて潜在空間表現を活用することで、モデルの複雑さを低減し、学習を高速化する。
• （ε, δ）-差分プライバシーを保証するため、ノイズスケールとクリッピングを慎重に調整したDP-SGDを適用する。
• 微調整中にBERTテキストエンコーダーを凍結することで、さらにパラメータ数を削減し、推論時に再び有効化する。
• FIDとプライバシー・ユーティリティのトレードオフへの影響を評価するため、アブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 LDMのアテンションモジュールのみを微調整することで、全モデル微調整と比較して、より優れたプライバシー・ユーティリティのトレードオフが達成できるか？
• RQ2 DP-LDMは、競争力のあるFIDスコアを維持しながら、高解像度（256×256）の画像を生成可能か？
• RQ3 潜在空間での学習は、ピクセル空間の拡散モデルと比較して、学習効率とモデル性能の面で顕著な向上をもたらすか？
• RQ4 DP-LDMは、テキスト条件付き生成とクラス条件付き生成の両方を、低いプライバシー予算（例：ε=1）でも高い忠実度で実現可能か？

主な発見

• DP-LDMは、ε=10の条件下でCelebAHQ 256×256において19.0 ± 0.0のSOTA FIDスコアを達成し、DP-MEPFの200.8と比較して、顕著な画像品質の向上を示した。
• ε=1の条件下でも、DP-LDMはCelebAHQでFID 25.6 ± 0.1を達成し、このプライバシー予算では以前の手法が妥当なサンプルを生成できなかったことを裏付けた。
• 全モデル微調整と比較して、訓練可能なパラメータ数を約90%削減でき、より高速で効率的な学習が可能になった。
• ε=10ではFID 44.5、ε=1ではFID 55.0を達成し、厳密なプライバシー制約下でも高精細なテキスト条件付き画像を生成可能であり、プロンプトへの忠実度も高い。
• 学習時間は10 GPU時間にまで短縮されたのに対し、先行研究では192 GPU時間であったため、計算コストと環境への影響が顕著に低減された。
• アブレーションスタディの結果、全モデルではなくアテンションモジュールと埋め込み器のみを微調整することで、より優れた性能が得られ、パラメータ効率の戦略が妥当であることが確認された。