[논문 리뷰] Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection

Yu Chen, Tingxin Li외 2명|arXiv (Cornell University)|2023. 09. 06.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

Hide and Seek (HaS)는 사용자 프롬프트 개인정보를 보호하기 위해 클라우드 기반 LLM에 프롬프트를 전송하기 전에 민감한 엔티티를 익명화하고, 작은 로컬 모델을 사용해 출력을 복원함으로써 강력한 프라이버시 보호를 실현하는 경량이며 로컬에 배포 가능한 프레임워크이다. 이는 최소한의 유틸리티 손실로 강력한 프라이버시 보호를 달성하며, 번역 및 분류 작업 전반에서 이전 방법보다 프라이버시 내성과 작업 성능 면에서 뛰어나다.

ABSTRACT

Numerous companies have started offering services based on large language models (LLM), such as ChatGPT, which inevitably raises privacy concerns as users' prompts are exposed to the model provider. Previous research on secure reasoning using multi-party computation (MPC) has proven to be impractical for LLM applications due to its time-consuming and communication-intensive nature. While lightweight anonymization techniques can protect private information in prompts through substitution or masking, they fail to recover sensitive data replaced in the LLM-generated results. In this paper, we expand the application scenarios of anonymization techniques by training a small local model to de-anonymize the LLM's returned results with minimal computational overhead. We introduce the HaS framework, where "H(ide)" and "S(eek)" represent its two core processes: hiding private entities for anonymization and seeking private entities for de-anonymization, respectively. To quantitatively assess HaS's privacy protection performance, we propose both black-box and white-box adversarial models. Furthermore, we conduct experiments to evaluate HaS's usability in translation and classification tasks. The experimental findings demonstrate that the HaS framework achieves an optimal balance between privacy protection and utility.

연구 동기 및 목표

• 사용자 프롬프트가 제공자에게 노출되는 LLM 서비스의 증가하는 프라이버시 위험을 해결하기 위해.
• MPC의 높은 오버헤드와 익명화의 복원 불가능성 등의 기존 방법의 한계를 극복하기 위해, 로컬에서 실행되며 복원 가능한 프라이버시 보호를 가능하게 하기 위해.
• 자신들만의 프롬프트에서 이름이 지정된 엔티티를 보호하면서도 출력 유틸리티를 유지하는 플러그 앤 플레이 시스템을 설계하기 위해.
• 암호 해독 공격에 대한 내성을 확보하기 위해 블랙박스 및 WHITELIST 공격 모델을 사용해 프라이버시 내성을 평가하기 위해.
• 프라이버시 보존 LLM 연구를 가속화하기 위해 데이터셋과 모델을 오픈소스로 제공하기 위해.

제안 방법

• HaS 프레임워크는 '숨기기'(익명화)와 '찾기'(복원)라는 두 가지 핵심 프로세스를 사용하여 로컬에서 개인 정보를 보호하고 복원한다.
• 두 가지 익명화 기법을 구현: 미세조정된 Bloomz 모델(560M/1.7B 파라미터)을 사용한 생성적 접근과 사전 훈련된 NER 모델을 사용한 레이블 기반 접근.
• 복원 프로세스는 GPT-3.5-turbo-annotated 데이터로 미세조정된 별도의 소형 Bloomz 모델을 활용하여 LLM 출력에서 원래 엔티티를 낮은 계산 비용으로 복원한다.
• 프라이버시 보호는 익명화를 해체하려는 블랙박스 및 화이트박스 공격 모델을 훈련시켜 평가하며, 정밀도, 재현율, F1 점수를 통해 성공률을 측정한다.
• 클라우드 기반 LLM을 수정하지 않고도 로컬 배포가 가능하여 투명성과 호환성을 확보한다.
• 재현 가능성 및 프롬프트 프라이버시 분야의 추가 연구를 지원하기 위해 데이터셋과 모델을 공개한다.

실험 결과

연구 질문

• RQ1 계산 비용이 큰 MPC나 DP에 의존하지 않고도, 경량이며 로컬에서 실행 가능한 프레임워크가 LLM 프롬프트 내 민감한 엔티티를 효과적으로 보호할 수 있는가?
• RQ2 익명화 및 복원 후 번역 및 텍스트 분류와 같은 후행 작업에서 HaS 프레임워크는 출력 유틸리티를 얼마나 잘 유지하는가?
• RQ3 블랙박스 및 화이트박스 설정에서 악성 암호 해독 공격에 대해 HaS의 익명화 기법은 얼마나 내성적인가?
• RQ4 생성적 대비 레이블 기반 기법을 선택할 경우, 프라이버시 보호 강도와 유틸리티 손실에 어떤 영향을 미치는가?
• RQ5 익명화 과정에서 발생하는 정보 손실에도 불구하고, 복원 모델이 원래 엔티티를 얼마나 정확하게 복원할 수 있는가?

주요 결과

• 560M 모델을 사용한 생성적 익명화 기법은 분류 작업에서 마이크로-F1 91.36%를 기록했으며, 익명화 없이 실행한 기준선 대비 F1 점수 증가 폭이 0.17%에 불과하여 유틸리티 손실이 극히 미미함을 시사한다.
• 레이블 기반 기법은 마이크로-F1에서 1.16% 감소를 보였으며, 이는 유틸리티 저하가 더 높음을 시사하지만 여전히 강력한 성능 유지를 유지함을 의미한다.
• 번역 작업에서는 560M 생성 모델 기준 METEOR 점수는 5.65% 감소했고, 레이블 기반 모델 기준으로는 4.86% 감소하여 유틸리티 유지 수준이 타당함을 입증한다.
• 화이트박스 공격 모델은 생성적 기법에 대해 매크로-F1 0.3212를 기록하여, 모델에 대한 전체 액세스 권한이 있음에도 불구하고 기법이 여전히 내성적임을 보여준다.
• 블랙박스 공격 모델은 매크로-F1 0.3147을 기록하여, 지식이 제한된 환경에서도 익명화 기법이 강력한 내성을 유지함을 입증한다.
• seeker 모델은 레이블 기반으로 익명화된 텍스트에서 더 높은 복원 정확도를 기록하여, 정보 손실이 더 크더라도 레이블 기반 익명화가 복원 가능성 면에서 더 유리할 수 있음을 시사한다.