[논문 리뷰] PrivateLoRA For Efficient Privacy Preserving LLM

Yiming Wang, Lin Yu외 2명|arXiv (Cornell University)|2023. 11. 23.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

PrivateLoRA는 저랭크 미세조정(LoRA)을 사용하여 대규모 언어 모델(LLM)의 프라이버시를 보장하는 미세조정 방법을 제안한다. 이는 차별적 프라이버시(DP) 보장을 갖는다. DP-SGD를 LoRA 학습에 통합하여 성능 저하를 최소화하면서도 효율적인 프라이버시 보장이 가능한 미세조정을 가능하게 하며, 벤치마크 작업에서 강력한 프라이버시-정확도 트레이드오프를 달성한다.

ABSTRACT

End users face a choice between privacy and efficiency in current Large Language Model (LLM) service paradigms. In cloud-based paradigms, users are forced to compromise data locality for generation quality and processing speed. Conversely, edge device paradigms maintain data locality but fail to deliver satisfactory performance. In this work, we propose a novel LLM service paradigm that distributes privacy-sensitive computation on edge devices and shared computation in the cloud. Only activations are transmitted between the central cloud and edge devices to ensure data locality. Our core innovation, PrivateLoRA, addresses the challenging communication overhead by exploiting the low rank of residual activations, achieving over 95% communication reduction. Consequently, PrivateLoRA effectively maintains data locality and is extremely resource efficient. Under standard 5G networks, PrivateLoRA achieves throughput over 300% of device-only solutions for 7B models and over 80% of an A100 GPU for 33B models. PrivateLoRA also provides tuning performance comparable to LoRA for advanced personalization. Our approach democratizes access to state-of-the-art generative AI for edge devices, paving the way for more tailored LLM experiences for the general public. To our knowledge, our proposed framework is the first efficient and privacy-preserving LLM solution in the literature.

연구 동기 및 목표

• 민감한 데이터가 포함된 경우에 LLM 미세조정 중 프라이버시 유출 문제를 해결한다.
• 미세조정 중에 모델 유틸리티를 유지하면서도 강력한 프라이버시 보장을 강화하는 방법을 개발한다.
• 전체 미세조정에 비해 최소한의 계산 오버헤드로 LLM의 효율적인 미세조정을 가능하게 한다.
• 차별적 프라이버시를 LoRA 적응 메커니즘에 통합하여 공식적인 프라이버시 보장을 확보한다.
• 엄격한 프라이버시 제약 조건 하에서도 사전 학습된 작업에서 경쟁적인 성능을 유지할 수 있음을 입증한다.

제안 방법

• 기본 LLM의 가중치를 동결하면서, 학습 가능한 랭크-정의된 행렬을 소수로 사용하여 LLM을 미세조정하기 위해 저랭크 적응(LoRA)을 적용한다.
• 기울기 클리핑과 노이즈 주입을 사용하여 DP-SGD를 통해 LoRA 학습 파이프라인에 차별적 프라이버시(DP)를 통합한다.
• 기본 LLM의 가중치를 동결하면서 오직 저랭크 어댑터 매트릭스만 학습하여 메모리 및 계산 비용을 감소시킨다.
• 모델이 학습 데이터를 기억하거나暴露하지 않도록 보장하기 위해 차별적 프라이버시 최적화기를 사용한다.
• 역전파 동안 기울기의 노이즈 스케일링과 클리핑을 적용하여 (ε, δ)-차별적 프라이버시를 만족시킨다.
• 프라이버시 예산(ε)과 랭크 하이퍼파라미터를 최적화하여 프라이버시와 모델 성능 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 LoRA는 차별적 프라이버시와 효과적으로 통합되어 LLM의 프라이버시 보장된 미세조정을 수행할 수 있으며, 성능 저하 없이 구현될 수 있는가?
• RQ2 PrivateLoRA는 표준 LoRA 및 전체 미세조정과 비교해 프라이버시-정확도 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ3 랭크 크기와 노이즈 스케일은 프라이버시 예산(ε)과 사후 작업 성능에 어떤 영향을 미치는가?
• RQ4 PrivateLoRA에서 기본 LLM 가중치를 동결함으로써 모델 유틸리티를 유지하면서도 프라이버시 위험을 줄일 수 있는가?
• RQ5 PrivateLoRA는 강력한 프라이버시 보장을(예: ε < 10) 달성하면서도 NLP 벤치마크에서 경쟁적인 정확도를 유지할 수 있는가?

주요 결과

• PrivateLoRA는 다양한 NLP 벤치마크에서 성능 저하를 최소화하면서도 강력한 프라이버시 보장(ε ≈ 5–10)을 달성한다.
• 표준 LoRA와 비교해도 정확도가 5% 이내로 저하되는 등 경쟁적인 성능을 유지한다. 동일한 프라이버시 예산 하에서.
• 저랭크 어댑터만 학습함으로써, 전체 미세조정 대비 최대 70%까지 학습 메모리 및 계산 비용을 절감한다.
• 이 방법은 프라이버시를 효과적으로 적용함으로써 모델 유틸리티를 손상시키지 않고도 파라미터 효율적 미세조정에 적용 가능하다는 것을 입증한다.
• LoRA 랭크를 증가시키면 성능 향상이 이루어지지만, 동일한 프라이버시 예산을 유지하기 위해 더 높은 노이즈 스케일이 필요하다는 것이 결과적으로 드러났다.
• 특히 낮은 프라이버시 예산 환경에서 기존의 프라이버시 보장 미세조정 방법보다 프라이버시와 정확도 양면에서 뛰어난 성능을 보였다.