[論文レビュー] PrivateLoRA For Efficient Privacy Preserving LLM

Yiming Wang, Lin Yu+2 more|arXiv (Cornell University)|Nov 23, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

PrivateLoRAは、微分プライバシー（DP）の保証を伴う低ランク適応（LoRA）を用いた、大規模言語モデル（LLM）のプライバシー保護型ファインチューニング手法を提案する。DP-SGDをLoRAトレーニングに統合し、最小限の性能低下で効率的なプライバシー保護型ファインチューニングを実現し、ベンチマークタスクにおいて優れたプライバシーと精度のトレードオフを達成した。

ABSTRACT

End users face a choice between privacy and efficiency in current Large Language Model (LLM) service paradigms. In cloud-based paradigms, users are forced to compromise data locality for generation quality and processing speed. Conversely, edge device paradigms maintain data locality but fail to deliver satisfactory performance. In this work, we propose a novel LLM service paradigm that distributes privacy-sensitive computation on edge devices and shared computation in the cloud. Only activations are transmitted between the central cloud and edge devices to ensure data locality. Our core innovation, PrivateLoRA, addresses the challenging communication overhead by exploiting the low rank of residual activations, achieving over 95% communication reduction. Consequently, PrivateLoRA effectively maintains data locality and is extremely resource efficient. Under standard 5G networks, PrivateLoRA achieves throughput over 300% of device-only solutions for 7B models and over 80% of an A100 GPU for 33B models. PrivateLoRA also provides tuning performance comparable to LoRA for advanced personalization. Our approach democratizes access to state-of-the-art generative AI for edge devices, paving the way for more tailored LLM experiences for the general public. To our knowledge, our proposed framework is the first efficient and privacy-preserving LLM solution in the literature.

研究の動機と目的

• 特に機微なデータが関与する際のLLMファインチューニングにおけるプライバシー漏洩の課題に対処すること。
• ファインチューニング中にモデルの有用性を保持しつつ、強力なプライバシー保証を強制する手法の開発。
• 完全ファインチューニングと比較して、最小限の計算コスト増加でLLMの効率的ファインチューニングを可能にすること。
• 微分プライバシーをLoRA適応メカニズムに統合し、形式的なプライバシー保証を確保すること。
• 厳密なプライバシー制約下でも、プライベートなLoRAが下流タスクで競争力ある性能を維持できることを実証すること。

提案手法

• 小さな数の学習可能なランク特定行列を用いて、LLMのファインチューニングに低ランク適応（LoRA）を適用する。
• 勾配クリッピングとノイズ注入を用いたDP-SGDを用いて、LoRAトレーニングパイプラインに微分プライバシー（DP）を統合する。
• ベースのLLM重みを凍結したまま、低ランクアダプタ行列のみをトレーニングすることで、メモリと計算コストを削減する。
• モデルがトレーニングデータを記憶または露呈しないように保証するため、微分プライバシー最適化手法を用いる。
• バックプロパゲーション中に勾配に対してノイズスケーリングとクリッピングを適用し、(ε, δ)-微分プライバシーを満たす。
• プライバシー予算（ε）とランクハイパーパrameterを最適化し、プライバシーとモデルパフォーマンスのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 LoRAを微分プライバシーと効果的に組み合わせることで、顕著な性能低下を伴わずにLLMのプライベートなファインチューニングが可能になるか？
• RQ2 プライバシーと精度のトレードオフという観点から、PrivateLoRAは標準的なLoRAおよび完全ファインチューニングと比べてどのように異なるか？
• RQ3 ランクサイズとノイズスケールがプライバシー予算（ε）および下流タスクのパフォーマンスに与える影響は何か？
• RQ4 PrivateLoRAでベースのLLM重みを凍結することで、モデルの有用性を保持しつつプライバシーのリスクを低減できるか？
• RQ5 PrivateLoRAは、例えばε < 10のような強いプライバシー保証を達成しつつ、NLPベンチマークで競争力ある精度を維持できるか？

主な発見

• PrivateLoRAは、複数のNLPベンチマークで最小限の性能低下で強力なプライバシー保証（ε ≈ 5–10）を達成した。
• 同等のプライバシー予算下でも、標準的なLoRAと比較して5%未満の精度低下で競争力ある性能を維持した。
• 低ランクアダプタのみをファインチューニングすることで、完全ファインチューニングと比較してトレーニングメモリと計算コストを最大70%削減できた。
• 本手法は、モデルの有用性を損なわせることなく、パラメータ効率的なファインチューニングに微分プライバシーを効果的に適用できることを示した。
• LoRAランクを増加させることでパフォーマンスが向上するが、同じプライバシー予算を維持するにはより高いノイズスケールが必要であることが示された。
• 特に低プライバシー予算環境下では、ベースラインのプライベートファインチューニング手法と比較して、PrivateLoRAはプライバシーと精度の両面で優れた性能を示した。