[論文レビュー] Privacy-Preserving Diffusion Model Using Homomorphic Encryption

Y.-B. Chen, Qiben Yan|arXiv (Cornell University)|Mar 9, 2024

Chaos-based Image/Signal Encryption被引用数 4

ひとこと要約

本論文は、同型暗号（HE）を用いて暗号化されたデータ上で安全に推論を実行するプライバシー保護型安定拡散フレームワーク、HE-Diffusionを提案する。特に、ノイズ除去フェーズに焦点を当てている。部分暗号化と最小歪み法、スパーステンソル表現を組み合わせることで、ベースラインHE手法に比べ500倍の高速化を達成し、暗号化推論時間を分のレベルにまで短縮しながら、平文モデルと同等の出力品質を維持した。

ABSTRACT

In this paper, we introduce a privacy-preserving stable diffusion framework leveraging homomorphic encryption, called HE-Diffusion, which primarily focuses on protecting the denoising phase of the diffusion process. HE-Diffusion is a tailored encryption framework specifically designed to align with the unique architecture of stable diffusion, ensuring both privacy and functionality. To address the inherent computational challenges, we propose a novel min-distortion method that enables efficient partial image encryption, significantly reducing the overhead without compromising the model's output quality. Furthermore, we adopt a sparse tensor representation to expedite computational operations, enhancing the overall efficiency of the privacy-preserving diffusion process. We successfully implement HE-based privacy-preserving stable diffusion inference. The experimental results show that HE-Diffusion achieves 500 times speedup compared with the baseline method, and reduces time cost of the homomorphically encrypted inference to the minute level. Both the performance and accuracy of the HE-Diffusion are on par with the plaintext counterpart. Our approach marks a significant step towards integrating advanced cryptographic techniques with state-of-the-art generative models, paving the way for privacy-preserving and efficient image generation in critical applications.

研究の動機と目的

• 信頼できないサーバーに対してユーザーのプロンプトや生成画像が漏洩する可能性がある、安定拡散モデル推論におけるプライバシーリスクに対処すること。
• 同型暗号（HE）を用いて、モデルの精度やパフォーマンスに影響を与えることなく、安全でエンドツーエンド暗号化された推論を可能にすること。
• 拡散モデルの最も計算コストの高い部分であるノイズ除去フェーズに焦点を当て、深層学習におけるHEの高い計算オーバーヘッドを克服すること。
• サービスプロバイダーが機密入力や出力をアクセスせずに暗号化データ上で計算を実行できる、効率的で実用的なフレームワークを設計すること。
• 先進的な暗号技術と最先端の生成モデルを統合し、実世界のプライバシーに配慮した応用に実用的であることを示すこと。

提案手法

• 安定拡散アーキテクチャに特化した同型暗号フレームワーク、HE-Diffusionを提案し、特にノイズ除去フェーズに焦点を当てる。
• 計算オーバーヘッドを低減しながらモデル出力品質を保持するための、部分画像暗号化に特化した新しい最小歪み法を導入する。
• COO形式のスパーステンソル表現を採用し、同型計算の高速化と効率性の向上を図る。
• 近似誤差を最小限に抑えて暗号化推論の正確性を維持するため、大部分の非線形活性化関数を回避する。
• 効率性を向上させるためにコスト関数に基づくスパarsity戦略（HILL）を採用するが、最大スパarsityを最適化するものではない。
• TenSealを用いてPythonでフレームワークを実装し、C++への移行やさらなるスパース計算最適化により、さらなるパフォーマンス向上の可能性を有する。

Figure 1: Sampling process of diffusion model at iteration $i$ . For the model forward component, the inputs are intermediate image $x_{i}$ and the prompts. Denoise process receives the output of model forward (i.e., noisy image $e_{i}$ and noise information $\alpha_{i}$ ), and then generates a bett

実験結果

リサーチクエスチョン

• RQ1 同型暗号を安定拡散モデルのノイズ除去フェーズに効果的に適用することで、ユーザーの入力および出力のプライバシーを保護できるか？
• RQ2 複雑な拡散モデルにおいて、同型暗号の高い計算コストを、出力品質を損なわずにどのように軽減できるか？
• RQ3 部分暗号化とスパーステンソル表現を用いることで、生成モデルにおけるHEベース推論のパフォーマンスオーバーヘッドをどの程度低減できるか？
• RQ4 エンドツーエンドのプライバシーを保証しつつ、暗号化された安定拡散推論で平文に近いパフォーマンスを達成することは可能か？
• RQ5 先進的な暗号技術と最先端の生成モデルを統合し、実世界の展開に実用的であるようにするにはどうすればよいか？

主な発見

• HE-Diffusionは、ベースライン同型暗号手法に比べ500倍の高速化を達成し、暗号化推論時間を分のレベルにまで短縮した。
• モデルの出力品質とパフォーマンスは、平文の安定拡散モデルと同等であり、暗号化による劣化が最小限に抑えられた。
• 最小歪みに基づく部分暗号化戦略により、計算オーバーヘッドが顕著に低減されつつ、画像の忠実度が保持された。
• COO形式のスパーステンソル表現により、同型演算が高速化され、フレームワーク全体の効率性に寄与した。
• サーバーが暗号化されていないプロンプトや生成画像にアクセスしない、安全な推論が実現された。
• このアプローチは安定拡散のノイズ除去フェーズに特化しており、再最適化を行わなければ他のモデルアーキテクチャへの即時の移行は制限される。

Figure 2: When revising in the latent space with certain distortion, the image changes as the figure shows. We randomly set elements to 0 in the latent space to generate images with different distortion from the original image, and then transform back to pixel space to check the changes. As the dist