[논문 리뷰] Privacy Preserving Prompt Engineering: A Survey

Kennedy Edemacu, Xintao Wu|arXiv (Cornell University)|2024. 04. 09.

Cryptography and Data Security인용 수 4

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)을 위한 프라이버시 보장 프롬프팅 기법을 체계적으로 분류하고 분석하며, 문맥 내 학습(In-Context Learning, ICL)과 프롬프팅에 초점을 맞춘다. 차별적 프라이버시(Differential Privacy), 데이터 가림법(Data Obfuscation), 피어드레이티드 러닝(Federated Learning), 암호 기법 등을 평가하여 프라이버시, 유틸리티, 공정성 간의 상충 관계를 규명하고, 신뢰성, 다중모odal 확장, 벤치마크 분야의 주요 연구 격차를 밝혀낸다.

ABSTRACT

Pre-trained language models (PLMs) have demonstrated significant proficiency in solving a wide range of general natural language processing (NLP) tasks. Researchers have observed a direct correlation between the performance of these models and their sizes. As a result, the sizes of these models have notably expanded in recent years, persuading researchers to adopt the term large language models (LLMs) to characterize the larger-sized PLMs. The size expansion comes with a distinct capability called in-context learning (ICL), which represents a special form of prompting and allows the models to be utilized through the presentation of demonstration examples without modifications to the model parameters. Although interesting, privacy concerns have become a major obstacle in its widespread usage. Multiple studies have examined the privacy risks linked to ICL and prompting in general, and have devised techniques to alleviate these risks. Thus, there is a necessity to organize these mitigation techniques for the benefit of the community. This survey provides a systematic overview of the privacy protection methods employed during ICL and prompting in general. We review, analyze, and compare different methods under this paradigm. Furthermore, we provide a summary of the resources accessible for the development of these frameworks. Finally, we discuss the limitations of these frameworks and offer a detailed examination of the promising areas that necessitate further exploration.

연구 동기 및 목표

• LLMs를 위한 기존 프라이버시 보장 프롬프팅 프레임워크를 체계적으로 정리하고 분석하는 것, 특히 문맥 내 학습(ICL)의 맥락에서.
• 비차별적 프라이버시(Non-DP), 국지적 차별적 프라이버시(Local DP), 전역적 차별적 프라이버시(Global DP), 기타 시나리오를 포함한 프라이버시 모델, 목표, 위협 모델에 따라 프라이버시 메커니즘을 분류하는 것.
• 프라이버시 보장 기법이 프라이버시 외에도 신뢰성의 다양한 측면, 즉 공정성, 강건성, 안전성, 진실성에 미치는 영향을 평가하는 것.
• 벤치마크 데이터셋, 오픈소스 도구, 실세계 시스템 통합 분야에서의 핵심 연구 격차를 규명하는 것.
• 비디오-언어 모델(Vision-Language Models, VLMs)와 같은 다중모달 모델로 프라이버시 보장 프롬프팅을 확장하는 것

제안 방법

• 비차별적 프라이버시(Non-DP), 국지적 차별적 프라이버시(Local DP), 전역적 차별적 프라이버시(Global DP), 기타 시나리오로 프라이버시 보장 프롬프팅 프레임워크를 네 가지 주요 그룹으로 분류하는 것.
• 차별적 프라이버시(DP), 데이터 정제(Data Sanitization), 격자 기반 가림법(Lattice-based Obfuscation), 암호화, 모델 앙상블 등 프라이버시 보장 수준과 운영 제약 조건을 분석하는 것.
• 기구-대상 연결 모델을 사용하여 각 프레임워크를 모델 입력, 출력, 중간 표현 등 특정 프라이버시 대상에 매핑하는 것.
• 각 기법의 성능 및 프라이버시 상충 관계 평가, 특히 합성 데이터 생성에서 DP가 소규모 클래스 데이터에 미치는 부정적 영향에 중점을 두는 것.
• 기존 오픈소스 라이브러리 및 소프트웨어 도구를 조사하여 익명화 기반에 의존하고 있음을 확인하며, 이는 재식별 공격에 취약하다는 점을 지적하는 것.
• 미래 연구 방향으로는 사용자 제어 생성 제어의 안전한 통합 및 DP-프론트 기법을 비디오, 오디오, 비디오 모델로 확장하는 것 등을 제안하는 것.

실험 결과

연구 질문

• RQ1 다양한 프라이버시 보장 프롬프팅 프레임워크는 프라이버시 보장 수준, 유틸리티, 계산 오버헤드 측면에서 어떻게 비교될 수 있는가?
• RQ2 문맥 내 학습에 차별적 프라이버시를 적용할 경우, 프라이버시, 공정성, 모델 성능 간의 상충 관계는 어떠한가?
• RQ3 사용자에게 생성 제어를 공유할 경우, 서버 측면의 해킹 위험을 기존 프레임워크는 어떻게 대응하는가?
• RQ4 기존 프라이버시 보장 기법은 비디오-언어 모델(Vision-Language Models, VLMs)과 같은 다중모달 모델로 얼마나 확장될 수 있는가?
• RQ5 현재의 벤치마크 데이터셋과 오픈소스 도구는 프라이버시 보장 프롬프팅의 재현 가능하고 표준화된 평가를 위해 어떤 한계를 지니는가?

주요 결과

• 차별적 프라이버시 기법은 프라이버시에 효과적이지만, 특히 소규모 클래스에 대해 합성 데이터 생성에서 불공정성을 초래할 수 있다.
• 기존 많은 오픈소스 프라이버시 보장 프레임워크는 재식별 공격에 취약한 것으로 알려진 익명화 기반에 의존하고 있다.
• 암호 기반 및 격자 기반 프레임워크는 생성 제어를 신뢰할 수 없는 클라이언트와 공유할 경우 서버에 보안 위험이 발생할 수 있다.
• 실세계 시스템에 프라이버시 보장 프롬프팅을 통합하는 데는 표준화된 벤치마크 데이터셋과 프로덕션 수준의 오픈소스 라이브러리 부족이 장애가 되고 있다.
• DP-프론트 기법을 비디오, 오디오, 비디오 모델로 확장하는 것은 유망하지만 아직 탐색되지 않은 연구 분야이다.
• 진실성, 안전성, 강건성과 같은 LLM 신뢰성의 광범위한 차원에 프라이버시 보장 프롬프팅의 영향을 평가하는 연구가 극히 부족하다.