[논문 리뷰] Privacy-Preserving Diffusion Model Using Homomorphic Encryption

Y.-B. Chen, Qiben Yan|arXiv (Cornell University)|2024. 03. 09.

Chaos-based Image/Signal Encryption인용 수 4

한 줄 요약

이 논문은 동질적 암호화(HE)를 사용하여 암호화된 데이터에서 안정적인 확산 모델 추론을 안전하게 수행할 수 있도록 하는 프라이버시 보장 기반의 스테이블 디퓨전 프레임워크인 HE-Diffusion을 제안한다. 특히 노이즈 제거 단계에 중점을 두고 있다. 부분 암호화와 최소 왜곡 방법, 희소 텐서 표현 방식을 조합함으로써 기존 HE 기반 방법 대비 500배의 속도 향상을 달성하여 암호화된 추론 시간을 분 단위 수준으로 줄였으며, 암호화된 추론 결과의 품질은 평문 모델과 유사한 수준을 유지한다.

ABSTRACT

In this paper, we introduce a privacy-preserving stable diffusion framework leveraging homomorphic encryption, called HE-Diffusion, which primarily focuses on protecting the denoising phase of the diffusion process. HE-Diffusion is a tailored encryption framework specifically designed to align with the unique architecture of stable diffusion, ensuring both privacy and functionality. To address the inherent computational challenges, we propose a novel min-distortion method that enables efficient partial image encryption, significantly reducing the overhead without compromising the model's output quality. Furthermore, we adopt a sparse tensor representation to expedite computational operations, enhancing the overall efficiency of the privacy-preserving diffusion process. We successfully implement HE-based privacy-preserving stable diffusion inference. The experimental results show that HE-Diffusion achieves 500 times speedup compared with the baseline method, and reduces time cost of the homomorphically encrypted inference to the minute level. Both the performance and accuracy of the HE-Diffusion are on par with the plaintext counterpart. Our approach marks a significant step towards integrating advanced cryptographic techniques with state-of-the-art generative models, paving the way for privacy-preserving and efficient image generation in critical applications.

연구 동기 및 목표

• 사용자 프롬프트와 생성된 이미지가 신뢰할 수 없는 서버에 노출될 수 있는 스테이블 디퓨전 모델 추론의 프라이버시 리스크를 해결하기 위해.
• 모델 정확도나 성능을 훼손하지 않으면서 동질적 암호화(HE)를 사용해 종단 간 암호화된 추론을 가능하게 하기 위해.
• 확산 모델에서 가장 계산 비용이 큰 노이즈 제거 단계를 최적화하여 딥러닝에서 HE의 높은 계산 오버헤드를 극복하기 위해.
• 서비스 제공자가 민감한 입력 또는 출력을 접근하지 않더라도 암호화된 데이터를 처리할 수 있도록 효율적이고 실용적인 프레임워크를 설계하기 위해.
• 현실 세계의 프라이버시 민감한 응용 분야에 최신 생성 모델에 HE를 효과적으로 통합할 수 있음을 보여주기 위해.

제안 방법

• 스테이블 디퓨전 아키텍처에 특화된 동질적 암호화 프레임워크인 HE-Diffusion을 제안하며, 특히 노이즈 제거 단계에 중점을 둔다.
• 계산 오버헤드를 줄이면서도 모델 출력 품질을 유지하기 위해 부분 이미지 암호화를 위한 새로운 최소 왜곡 방법을 도입한다.
• 동질적 계산의 가속화와 효율성 향상을 위해 COO 형식의 희소 텐서 표현 방식을 활용한다.
• 암호화된 추론에서의 근사 오차를 최소화하고 정확성을 유지하기 위해 대부분의 비선형 활성화 함수를 회피한다.
• 비용 함수 기반의 희소성 전략(HILL)을 사용하여 효율성을 향상시켰지만, 최대 희소성 최적화는 이루어지지 않았다.
• TenSeal를 사용해 파이썬 기반으로 프레임워크를 구현하였으며, C++로의 이식 및 추가적인 희소 계산 최적화를 통해 성능 향상을 기대할 수 있다.

Figure 1: Sampling process of diffusion model at iteration $i$ . For the model forward component, the inputs are intermediate image $x_{i}$ and the prompts. Denoise process receives the output of model forward (i.e., noisy image $e_{i}$ and noise information $\alpha_{i}$ ), and then generates a bett

실험 결과

연구 질문

• RQ1 스테이블 디퓨전 모델의 노이즈 제거 단계에 동질적 암호화를 효과적으로 적용하여 사용자 입력 및 출력의 프라이버시를 보장할 수 있는가?
• RQ2 복잡한 확산 모델에서 동질적 암호화의 높은 계산 비용을 출력 품질을 훼손하지 않고 어떻게 완화할 수 있는가?
• RQ3 부분 암호화와 희소 텐서 표현 방식을 통해 HE 기반 추론의 성능 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 종단 간 프라이버시 보장을 확보하면서도 암호화된 스테이블 디퓨전 추론에서 평문 수준의 성능을 달성할 수 있는가?
• RQ5 최신 생성 모델과 고급 암호화 기법의 통합을 현실 세계의 구현에 실용적으로 적용할 수 있는가?

주요 결과

• HE-Diffusion는 기존 기반 동질적 암호화 방법 대비 500배의 속도 향상을 달성하여 암호화된 추론 시간을 분 단위 수준으로 줄였다.
• 모델의 출력 품질과 성능는 평문 스테이블 디퓨전 모델과 유사하여 암호화로 인한 품질 저하가 거의 없음을 보여주었다.
• 최소 왜곡 기반의 부분 암호화 전략은 계산 오버헤드를 크게 줄였으며 동시에 이미지의 정밀도를 유지하였다.
• COO 형식의 희소 텐서 표현 방식은 동질적 연산을 가속화하여 프레임워크의 전체 효율성에 기여하였다.
• 서버가 암호화되지 않은 프롬프트나 생성된 이미지를 접근하지 않는 안전한 추론을 성공적으로 구현하였다.
• 이 방법은 스테이블 디퓨전의 노이즈 제거 단계에 특화되어 있어, 재최적화 없이 다른 모델 아키텍처로 즉각 이식되는 것은 제한되어 있다.

Figure 2: When revising in the latent space with certain distortion, the image changes as the figure shows. We randomly set elements to 0 in the latent space to generate images with different distortion from the original image, and then transform back to pixel space to check the changes. As the dist