[논문 리뷰] EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMs

Lin Guo, Wenyue Hua외 4명|arXiv (Cornell University)|2024. 02. 08.

DNA and Biological ComputingBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

EmojiCrypt는 대규모 언어 모델(LLM) 상호작용에서 민감한 사용자 입력을 이모지 시퀀스로 변환함으로써 민감한 정보를 암호화하는 프라이버시 보장 기법이다. 이로 인해 LLM은 정확한 출력을 생성할 수 있지만, 인간과 LLM 제공자 모두에게 원본 데이터는 해독 불가능해진다. 모델 미세조정 없이도 동일하거나 향상된 작업 성능을 달성하며, 성능 저하 최소화로 강력한 프라이버시 보호를 실현한다.

ABSTRACT

Cloud-based Large Language Models (LLMs) such as ChatGPT have become increasingly integral to daily operations. Nevertheless, they also introduce privacy concerns: firstly, numerous studies underscore the risks to user privacy posed by jailbreaking cloud-based LLMs; secondly, the LLM service providers have access to all user data, which deters individuals from confidently utilizing such services. To address such concerns, we propose a simple yet effective paradigm, EmojiPrompt, to protect user privacy. At its core, EmojiPrompt performs generative transformation, obfuscating private data within prompts with linguistic and non-linguistic elements before submitting them to cloud-based LLMs. We evaluate EmojiPrompt's performance across 8 datasets from various domains. We also propose simulated inference attacks to assess EmojiPrompt's ability to preserve user privacy. The results demonstrate that EmojiPrompt effectively obfuscates user private data, while largely maintaining, or even enhancing, performances compared to the unobfuscated version. Furthermore, EmojiPrompt's atomic-level obfuscation allows it to function exclusively with cloud-based LLMs. For source code, please refer to: https://github.com/agiresearch/EmojiCrypt.

연구 동기 및 목표

• 암호화된 전송과 저장에도 불구하고 서비스 제공자에게 민감한 사용자 데이터가 노출되는 클라우드 기반 LLM의 프라이버시 위험을 해결하기 위해.
• 사용자 입력의 민감한 정보를 인간 관찰자와 LLM 자체로부터 숨기되, 출력 품질에 영향을 주지 않도록 하는 방법을 개발하기 위해.
• 개인적 또는 기밀 정보를 의미적으로 은폐된 이모지 시퀀스로 변환함으로써 LLM과의 안전하고 비밀스러운 소통을 가능하게 하기 위해.
• 암호화된 프롬프트가 원본 민감한 콘텐츠의 복원을 저지하는 동안 높은 작업 정확도를 유지할 수 있는지 평가하기 위해.
• 모델 미세조정이나 LLM의 추론 과정을 변경하지 않고도 프롬프트 암호화가 효과적으로 작동할 수 있음을 입증하기 위해.

제안 방법

• 민감한 요소(예: 이름, 제품 제목, 개인적 특성 등)를 사전에 훈련된 LLM을 인코더로 사용해 이모지 시퀀스로 변환한다.
• LLM 인코더는 자연어 입력을 LLM이 의미적으로 이해할 수 있는 이모지 기반 표현으로 매핑하며, 인간은 이를 이해할 수 없다.
• 은폐된 이모지 프롬프트는 추가적인 미세조정 없이도 대상 LLM(GPT-4 또는 Gemini-Pro 등)에 전송되어 후속 작업을 수행한다.
• 복호화 평가를 위해 별도의 LLM(GPT-4 등)을 활용해 이모지 시퀀스에서 원본 텍스트를 재구성하도록 프롬프트를 제공하고, 코사인 유사도를 통해 유사도를 측정한다.
• 강건성은 재구성된 텍스트와 원본 간의 유사도를 비교하여 평가하며, 무작위로 같은 데이터셋에서 추출한 샘플을 사용해 무관심 기준을 설정한다.
• 세 가지 작업에 대해 평가한다: 전자상거래 추천(아마존 뷰티), 감성 분석(IMDB), 재정 상태 분류(세금 소득 데이터), GPT-4와 Gemini-Pro를 인코더로, GPT-4를 디코더로 사용한다.

실험 결과

연구 질문

• RQ1 이모지 기반 프롬프트 은폐 기법은 인간과 LLM 제공자 모두로부터 민감한 사용자 데이터를 효과적으로 숨기면서도 모델의 정확한 응답 생성 능력을 유지할 수 있는가?
• RQ2 LLM 응용 프로그램에서 이모지로 프롬프트를 암호화하면, 암호화되지 않은 프롬프트에 비해 작업 성능이 유지되거나 향상되는가?
• RQ3 원본 민감한 콘텐츠가 얼마나 정확하게 이모지 암호화된 프롬프트에서 복원 가능한가? 이는 은폐 기법의 강도를 나타낸다.
• RQ4 GPT-4와 Gemini-Pro와 같은 다양한 LLM에서나, 재사용 가능한 텍스트와 비재사용 가능한 텍스트 유형에서 암호화-복호화 파이프라인의 성능은 어떻게 달라지는가?
• RQ5 이 방법은 모델 미세조정이나 아키텍처 변경 없이도 다양한 NLP 작업에 일반적으로 적용 가능한가?

주요 결과

• GPT-4를 암호화 및 복호화에 모두 사용한 아마존 뷰티 데이터셋에서, 원본과 재구성된 제품 제목 간 코사인 유사도는 0.567을 기록했으며, 이는 최적의 안전 기준인 0.307 이하로 떨어져 강력한 은폐 효과를 입증한다.
• IMDB 리뷰 데이터셋에서는 GPT-4 + GPT-4 조합에서 0.755, Gemini + GPT-4 조합에서 0.607의 유사도 점수를 기록했으며, 모두 최적의 안전 기준인 0.411를 초과해 재구성된 텍스트가 원본과 의미적으로 뚜렷하게 다름을 확인한다.
• 세금 소득 데이터셋에서는 GPT-4 + GPT-4 조합에서 0.461, Gemini + GPT-4 조합에서 0.467의 유사도 점수를 기록했으며, 모두 최적의 안전 기준인 0.295를 초과해 효과적인 데이터 마스킹을 입증한다.
• 모든 세 가지 작업—개인화된 추천, 감성 분석, 표 형태 데이터 분석—에서, 암호화되지 않은 프롬프트에 비해 EmojiCrypt는 작업 정확도를 유지하거나 향상시켰으며, 모델 미세조정이 필요하지 않았다.
• 평균적으로 암호화된 프롬프트와 동일한 데이터셋에서 추출한 랜덤 샘플 간의 유사도가 안전 기준 이하로 유지되어 원본 민감한 콘텐츠의 복원이 효과적으로 방지됨을 확인했으며, 이는 강건성을 입증한다.
• 결과적으로 LLM이 이모지 암호화된 프롬프트를 높은 정밀도로 처리할 수 있음을 보여주며, 이는 이모지 표현이 비록 표면적으로는 무작위처럼 보이지만, 의미 정보가 은폐 과정에서 그대로 유지됨을 시사한다.