[논문 리뷰] DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer

Junyuan Hong, Jiachen T. Wang외 4명|arXiv (Cornell University)|2023. 11. 27.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

DP-OPT는 클라이언트 측에서 차등적 비밀리성 보장을 받는 이산 프롬프트를 생성함으로써 대규모 언어 모델(Large Language Models, LLMs)이 프라이버시를 보장하는 프롬프트 엔지니어로 기능하도록 하는 혁신적인 프레임워크입니다. 이는 데이터 기밀성과 모델 지적재산권 보호를 보장하며, GPT-3.5와 같은 비공개 모델, Llama-2, Vicuna-33b와 같은 개방형 모델에 전이되었을 때 비공개적 인라인 학습 및 로컬 튜닝 수준의 경쟁력 있는 성능을 달성합니다.

ABSTRACT

Large Language Models (LLMs) have emerged as dominant tools for various tasks, particularly when tailored for a specific target by prompt tuning. Nevertheless, concerns surrounding data privacy present obstacles due to the tuned prompts' dependency on sensitive private information. A practical solution is to host a local LLM and optimize a soft prompt privately using data. Yet, hosting a local model becomes problematic when model ownership is protected. Alternative methods, like sending data to the model's provider for training, intensify these privacy issues facing an untrusted provider. In this paper, we present a novel solution called Differentially-Private Offsite Prompt Tuning (DP-OPT) to address this challenge. Our approach involves tuning a discrete prompt on the client side and then applying it to the desired cloud models. We demonstrate that prompts suggested by LLMs themselves can be transferred without compromising performance significantly. To ensure that the prompts do not leak private information, we introduce the first private prompt generation mechanism, by a differentially-private (DP) ensemble of in-context learning with private demonstrations. With DP-OPT, generating privacy-preserving prompts by Vicuna-7b can yield competitive performance compared to non-private in-context learning on GPT3.5 or local private prompt tuning. Codes are available at https://github.com/VITA-Group/DP-OPT .

연구 동기 및 목표

• 신뢰할 수 없는 클라우드 모델에 민감한 데이터를 공유해야 하는 프롬프트 튜닝에서의 데이터 기밀성 문제를 해결합니다.
• 로컬 모델 학습이나 파라미터 노출 없이 데이터 기밀성과 모델 지적재산권을 모두 보호합니다.
• 클라우드 모델의 가중치에 접근할 필요 없이, 오직 비공개 데이터와 로컬 LLM만을 사용하여 클라이언트 장치에서 효과적인 프롬프트 생성을 가능하게 합니다.
• 기울기나 공개 데이터에 의존하지 않고, 프롬프트 생성 과정에 직접적으로 차등적 비밀리성 노이즈 메커니즘을 도입하여 엄격한 프라이버시 손실 한계를 설정하는 메커니즘을 개발합니다.
• LLM이 생성한 프롬프트가 이질적인 모델 간에 전이 가능함을 입증하여, 해외에 위치한 클라우드 LLM에서 높은 성능을 달성할 수 있도록 합니다.

제안 방법

• 비공개 학습 데이터를 기반으로 클라이언트 측에서만 모든 데이터를 유지하면서, 더 작은 로컬 LLM(예: Vicuna-7b)을 사용해 이산 프롬프트를 생성합니다.
• 서로 다른 비공개 예시 서브셋을 사용한 인라인 학습 기반의 차등적 비밀리성 앙상블을 적용하여, 공식적인 프라이버시 보장을 갖춘 프롬프트를 생성합니다.
• 기울기나 공개 데이터가 필요 없이, 프롬프트 생성 과정에 직접적으로 차등적 비밀리성 노이즈 메커니즘을 도입하여 프라이버시를 보장합니다.
• 로컬 검증 데이터에서 성능을 평가하는 비공개 클라이언트 측 최적화 루프를 통해 프롬프트를 튜닝합니다.
• 최종 이산 프롬프트를 클라우드 기반 LLM(예: GPT-3.5, Llama-2, Vicuna-33b)로 전이하여 재학습 없이 추론을 수행합니다.
• 모델 간 호환성이 있는 이산 토큰 기반 프롬프트를 사용하여, 아키텍처 간 전이 가능성을 확보합니다.

실험 결과

연구 질문

• RQ1 LLM이 클라이언트 측에서 민감한 데이터를暴露하지 않고도 효과적이고 프라이버시 보장된 이산 프롬프트를 생성할 수 있는가?
• RQ2 비공개 예시를 사용한 인라인 학습 기반의 차등적 비밀리성 프롬프트 생성이 성능 저하 없이 강력한 프라이버시 보장을 보장하는가?
• RQ3 로컬 LLM이 생성한 프롬프트가 GPT-3.5와 같은 고성능 비공개 클라우드 LLM으로 성공적으로 전이되어 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 정확도와 프라이버시 간의 트레이드오프 측면에서 DP-OPT의 성능은 비공개 인라인 학습 및 로컬 프라이빗 튜닝과 비교해 어떻게 되는가?
• RQ5 비공개 아키텍처 간 전이(예: Vicuna에서 GPT-3.5로)가 엄격한 프라이버시 제약 조건 하에서도 가능하고 효과적인가?

주요 결과

• DP-OPT는 클라이언트 장치에서 엔드 투 엔드 프라이버시 보장 프롬프트 튜닝을 가능하게 하여 데이터 기밀성과 클라우드 모델 지적재산권 보호를 확보합니다.
• Vicuna-7b가 DP-OPT를 사용해 생성한 프롬프트는 GPT-3.5에서 HellaSwag 작업에서 테스트 정확도 86.3%를 기록하여 비공개 인라인 학습 성능과 동일합니다.
• Vicuna-7b에서 생성한 프롬프트를 GPT-3.5로 전이했을 때 HellaSwag 벤치마크에서 78.6%의 정확도를 달성하여 강력한 전이 가능성을 입증합니다.
• DP-OPT의 차등적 비밀리성 프롬프트 생성 메커니즘은 기울기나 공개 데이터에 의존하지 않고도 프라이버시 손실을 엄격히 제한합니다.
• ARC-Challenge 벤치마크에서 Vicuna-7b에서 생성한 프롬프트를 GPT-3.5로 전이했을 때 65.4%의 정확도를 기록하여 다양한 작업에 대한 강력한 일반화 능력을 보여줍니다.
• 기본 방법 대비 프라이버시-정확도 트레이드오프 측면에서 프레임워크가 뛰어난 성능을 유지하면서도 공식적인 차등적 비밀리성 보장을 확보합니다.