[논문 리뷰] Differentially Private Latent Diffusion Models

M Liu, Saiyue Lyu외 2명|arXiv (Cornell University)|2023. 05. 25.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 잠재 확산 모델(LDMs)의 어텐션 모듈과 컨ditioning 임bed더를 DP-SGD를 사용하여 미세조정하는 방식으로, 최신 기술 수준의 차별적 비밀 보장 이미지 생성을 달성하는 DP-LDMs를 제안한다. 잠재 공간에서 학습하고 학습 가능한 파라미터를 약 90% 감소시킴으로써, ε=10일 때 FID 점수가 최저 19.0에 이르는 고품질의 256×256 이미지를 생성하며, CIFAR10, CelebA64, CelebAHQ에서 이전 작업을 능가한다.

ABSTRACT

Diffusion models (DMs) are one of the most widely used generative models for producing high quality images. However, a flurry of recent papers points out that DMs are least private forms of image generators, by extracting a significant number of near-identical replicas of training images from DMs. Existing privacy-enhancing techniques for DMs, unfortunately, do not provide a good privacy-utility tradeoff. In this paper, we aim to improve the current state of DMs with differential privacy (DP) by adopting the extit{Latent} Diffusion Models (LDMs). LDMs are equipped with powerful pre-trained autoencoders that map the high-dimensional pixels into lower-dimensional latent representations, in which DMs are trained, yielding a more efficient and fast training of DMs. Rather than fine-tuning the entire LDMs, we fine-tune only the $ extit{attention}$ modules of LDMs with DP-SGD, reducing the number of trainable parameters by roughly $90\%$ and achieving a better privacy-accuracy trade-off. Our approach allows us to generate realistic, high-dimensional images (256x256) conditioned on text prompts with DP guarantees, which, to the best of our knowledge, has not been attempted before. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs, producing high-quality DP images. Our code is available at https://anonymous.4open.science/r/DP-LDM-4525.

연구 동기 및 목표

• 큰 모델에서 DP-SGD의 확장성 문제로 인해 고품질의 차별적 비밀 보장 확산 모델(DMs)을 훈련하는 데 도전하는 것.
• 전체 DM을 DP-SGD 하에 훈련하는 기존의 미세조정 접근법을 개선하여 학습 가능한 파라미터 수를 줄이는 것.
• 이전에 달성되지 못했던 고차원(256×256)의 차별적 비밀 보장 이미지 생성, 특히 텍스트 기반 생성 및 클래스 조건부 생성을 가능하게 하는 것.
• 전체 모델 DP 훈련에 비해 계산 비용과 탄소 배출량을 줄여 DP 이미지 생성의 민주화를 이루는 것.

제안 방법

• 공개 데이터(예: LAION-400M 또는 ImageNet)에서 자동에코더와 확산 U-Net을 포함한 전체 LDM을 사전 훈련한다.
• 개인 정보 데이터에서 DP-SGD를 사용하여 어텐션 모듈과 컨디셔닝 임베더(예: 텍스트 프롬프트용 BERT)만 미세조정하여 학습 가능한 파라미터 수를 크게 줄인다(전체 모델의 약 10%).
• 사전 훈련된 자동에코더를 통해 잠재 공간 표현을 활용하여 모델 복잡도를 감소시키고 훈련 속도를 향상시킨다.
• 학습 중 (ε, δ)-차별적 비밀 보장 보장을 확보하기 위해 조정된 노이즈 스케일과 클리핑을 적용한 DP-SGD를 사용한다.
• 미세조정 중 BERT 텍스트 인코더를 동 冻결하여 파라미터 수를 추가로 줄이고, 추론 시에 다시 활성화한다.
• FID와 개인정보-유용성 트레이드오프에 미치는 파라미터 감소 및 계층별 미세조정의 영향을 평가하기 위해 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 LDM의 어텐션 모듈만 미세조정하는 것이 DP-SGD 하에서 전체 모델 미세조정보다 더 나은 개인정보-유용성 트레이드오프를 달성할 수 있는가?
• RQ2 DP-LDMs는 경쟁적인 FID 점수를 유지하면서도 고해상도(256×256) 이미지를 차별적 비밀 보장 하에 생성할 수 있는가?
• RQ3 잠재 공간에서 훈련하는 것이 픽셀 공간 확산 모델에 비해 DP 하에서 훈련 효율성과 모델 성능에 뚜렷한 향상을 가져오는가?
• RQ4 DP-LDMs는 낮은 개인정보 예산(예: ε=1)에서도 텍스트 기반 생성과 클래스 조건부 생성을 강력한 충실도로 지원할 수 있는가?

주요 결과

• ε=10일 때 DP-LDM은 CelebAHQ 256×256에서 FID 점수 19.0 ± 0.0을 기록하여 DP-MEPF의 200.8보다 뚜렷한 품질 향상을 보였다.
• ε=1일 때 DP-LDM은 CelebAHQ에서 FID 25.6 ± 0.1을 기록하여, 이 개인정보 예산 수준에서 타당한 샘플을 생성하지 못하는 기존 방법들을 능가했다.
• 전체 모델 미세조정 대비 학습 가능한 파라미터 수를 약 90% 감소시켜 더 빠르고 효율적인 훈련을 가능하게 했다.
• ε=10일 때 FID 44.5, ε=1일 때 FID 55.0을 기록하여, 엄격한 개인정보 제약 조건 하에서도 고해상도(256×256)의 고품질 텍스트 조건부 이미지를 생성하며, 강력한 프롬프트 준수 성능을 보였다.
• 훈련 시간은 이전 작업의 192 GPU 시간에서 10 GPU 시간으로 단축되어 계산 및 환경 비용을 크게 낮췄다.
• 분석 연구 결과, 전체 모델 대비 어텐션 모듈과 임베더만 미세조정하는 것이 더 뛰어난 성능을 내며, 파라미터 효율 전략의 타당성을 입증했다.