[논문 리뷰] Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models

Haonan Duan, Adam Dziedzic외 2명|arXiv (Cornell University)|2023. 05. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 민감한 데이터를 포함한 프롬프트를 보호하기 위해 프롬프트 학습을 위한 두 가지 차별적(private) 방법인 PromptDPSGD와 PromptPATE를 제안한다. PromptDPSGD는 소프트 프롬프트에 대해 비밀 보장 기반 경사 하강법을 사용하는 반면, PromptPATE는 앙상블된 LLM들(즉, '확률적 패러디들'의 무리)의 노이즈가 섞인 투표를 활용하여 지식을 단일 공개형 이산 프롬프트로 비밀 보장 기반으로 전달한다. 이 방법은 뛰어난 프라이버시-유용성 트레이드오프를 달성하여, GPT-3를 사용할 때 (ε=0.147, δ=10⁻⁶)의 차별적 프라이버시를 확보하면서 SST-2에서 92.7%의 정확도를 기록했으며, 비프라이버시 기반 기준선(95.2%)에 매우 가까운 성능을 달성한다.

ABSTRACT

Large language models (LLMs) are excellent in-context learners. However, the sensitivity of data contained in prompts raises privacy concerns. Our work first shows that these concerns are valid: we instantiate a simple but highly effective membership inference attack against the data used to prompt LLMs. To address this vulnerability, one could forego prompting and resort to fine-tuning LLMs with known algorithms for private gradient descent. However, this comes at the expense of the practicality and efficiency offered by prompting. Therefore, we propose to privately learn to prompt. We first show that soft prompts can be obtained privately through gradient descent on downstream data. However, this is not the case for discrete prompts. Thus, we orchestrate a noisy vote among an ensemble of LLMs presented with different prompts, i.e., a flock of stochastic parrots. The vote privately transfers the flock's knowledge into a single public prompt. We show that LLMs prompted with our private algorithms closely match the non-private baselines. For example, using GPT3 as the base model, we achieve a downstream accuracy of 92.7% on the sst2 dataset with ($ε=0.147, δ=10^{-6}$)-differential privacy vs. 95.2% for the non-private baseline. Through our experiments, we also show that our prompt-based approach is easily deployed with existing commercial APIs.

연구 동기 및 목표

• LLM의 프롬프트에서 사용된 데이터가 멤버십 추론 공격를 통해 개인 정보가 泄露될 수 있음을 입증하는 것.
• 프롬프트 기반 LLM 사용 시 발생하는 프라이버시 위험을 해결하면서도 프롬프트의 효율성과 실용성을 손상시키지 않는 것.
• 상용 API와 같은 비공개 LLM에 대해 블랙박스 액세스만으로도 작동하는 프라이버시 보장 기반 프롬프트 학습 방법을 개발하는 것.
• 이산 프롬프트를 대상으로 데이터 효율적이고 차별적 프라이버시 기반 기법을 사용해 강력한 프라이버시-유용성 트레이드오프를 달성하는 것.
• 비프라이버시 기반 성능을 유지하면서도 모델 액세스 제약 조건을 지키는 프라이버시 보장 기반 프롬프트 학습을 가능하게 하는 것.

제안 방법

• PromptDPSGD는 학습 가능한 소프트 프롬프트 임베딩에 대해 차별적 프라이버시 기반 확률적 경사 하강법을 수행하며, LLM의 파라미터는 동결된 상태를 유지한다.
• PromptPATE는 프라이빗 데이터셋에서 유래한 다양한 이산 프롬프트로 각각 LLM을 프롬프트하여 예측을 생성하는 '무리'를 형성한다.
• 무리에서 생성된 토큰 예측에 대해 노이즈가 섞인 다수결 투표를 통해 차별적 프라이버시를 실현하고, 지식을 단일 공개형 이산 프롬프트로 전달한다.
• 학생 프롬프트는 노이즈가 섞인 집계된 출력에서 유도되며, 추론 시 프라이빗 프롬프트의 대체로 사용될 수 있다.
• 이 방법은 LLM에 대한 블랙박스 액세스에 의존하므로, GPT-3나 Claude와 같은 상용 API와 함께 구현 가능하다.
• 차별적 프라이버시를 공식적으로 보장하며, 조합 정리(composition theorem)를 통해 프라이버시 회계를 추적한다.

실험 결과

연구 질문

• RQ1 멤버십 추론 공격가 LLM의 프롬프트에 사용된 데이터의 프라이버시를 효과적으로 침해할 수 있는가?
• RQ2 차별적 프라이버시 기반 경사 하강법을 사용해 소프트 프롬프트를 비밀 보장 기반으로 학습시킬 수 있으며, 이로 인해 모델의 유용성이 유지되는가?
• RQ3 기울기 접근이 필요 없이 앙상블 기반 지식 전달을 통해 이산 프롬프트를 비밀 보장 기반으로 학습시킬 수 있는가?
• RQ4 특히 강력한 프라이버시 예산 하에서, 프라이버시와 유용성의 트레이드오프는 어떻게 행동하는가?
• RQ5 블랙박스 액세스만을 사용하는 상황에서, 프라이버시 보장 기반 프롬프트 학습이 비프라이버시 프롬프트링 성능을 따라잡을 수 있는가?

주요 결과

• 멤버십 추론 공격가 프롬프트에 사용된 데이터 포인트가 포함되었는지 여부를 성공적으로 판단함으로써, 프롬프트 기반 LLM 사용 시 프라이버시 위험이 확인되었다.
• PromptDPSGD는 낮은 학습 비용으로도 차별적 프라이버시를 확보하면서 경쟁 가능한 유용성의 소프트 프롬프트 학습을 가능하게 한다.
• GPT-3를 사용할 때 PromptPATE는 (ε=0.147, δ=10⁻⁶)의 차별적 프라이버시를 확보하면서 SST-2 데이터셋에서 92.7%의 정확도를 기록했으며, 비프라이버시 기준선(95.2%)에 매우 가까운 성능을 달성했다.
• 단지 100회의 공개 쿼리만으로도 PromptPATE는 거의 포화 상태에 도달한 성능을 보였으며, 이는 높은 데이터 효율성을 보여준다.
• 교사 모델들 간의 높은 일치도 덕분에 쿼리당 프라이버시 비용이 낮아졌으며, 이는 정보 泄露를 감소시키고 프라이버시-유용성 트레이드오프를 향상시킨다.
• 더 강력한 LLM과 더 넓은 컨텍스트 창을 사용할수록 성능이 향상되며, 이는 프라이버시 보장 기반 프롬프트링의 확장성과 향후 잠재력을 시사한다.