[논문 리뷰] Privacy-Preserving In-Context Learning for Large Language Models

Tong Wu, Ashwinee Panda외 2명|arXiv (Cornell University)|2023. 05. 02.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 차별적 비밀유지(Private) 인-컨텍스트 학습(DP-ICL)을 제안한다. 이는 서로 겹치지 않는 예시 집합에 대한 앙상블 추론을 수행하고, 응답을 집계할 때 차별적 비밀유지를 적용함으로써 인-컨텍스트 학습에서의 민감한 정보를 보호하는 프레임워크이다. 강력한 비밀유지-성능 트레이드오프를 달성하며, 성능 저하가 거의 없는데, 예를 들어 ε=3일 때 SST-2에서 95.80%의 정확도를 기록하여 실제 LLM 구현에 민감한 데이터를 활용하는 데 실용적이다.

ABSTRACT

In-context learning (ICL) is an important capability of Large Language Models (LLMs), enabling these models to dynamically adapt based on specific, in-context exemplars, thereby improving accuracy and relevance. However, LLM's responses may leak the sensitive private information contained in in-context exemplars. To address this challenge, we propose Differentially Private In-context Learning (DP-ICL), a general paradigm for privatizing ICL tasks. The key idea for DP-ICL paradigm is generating differentially private responses through a noisy consensus among an ensemble of LLM's responses based on disjoint exemplar sets. Based on the general paradigm of DP-ICL, we instantiate several techniques showing how to privatize ICL for text classification and language generation. We evaluate DP-ICL on four text classification benchmarks and two language generation tasks, and our empirical results show that DP-ICL achieves a strong utility-privacy tradeoff.

연구 동기 및 목표

• 인-컨텍스트 학습(ICL)에서 프롬프트에 포함된 민감한 예시가 프롬프트 泄露 공격을 통해 추출되는 비밀유지 누출 문제를 해결하기 위해.
• 모델 미세조정 없이도 적용 가능한 일반적이고 즉시 사용 가능한 비밀유지 프레임워크를 개발하기 위해.
• 강력한 비밀유지 보장을 확보하면서도 텍스트 분류 및 언어 생성 작업에서 높은 성능을 유지하기 위해.
• 다양한 벤치마크와 모델 규모에서 비밀유지(ε)와 성능 간의 트레이드오프를 평가하기 위해.

제안 방법

• 사용자로부터 제공된 민감한 예시 집합을 상호 배타적인 하위집합으로 분할하여 병렬 추론을 수행한다.
• 각 하위집합에서 독립적으로 모델 응답을 생성하여 예측의 앙상블을 형성한다.
• 텍스트 분류 작업의 경우, 투표 히스토그램에 정규분포 노이즈를 적용한 Report-Noisy-Max를 사용하여 다수결 클래스를 비밀유지 방식으로 공개한다.
• 언어 생성 작업의 경우, 두 가지 집계 방법을 제안한다: 임베딩 공간 집계(ESA), 이는 생성된 출력의 의미적 임베딩을 비밀유지 방식으로 처리하며, 키워드 공간 집계(KSA), 이는 PTR 또는 통합 지수 메커니즘을 사용해 빈도 높은 키워드를 비밀유지 방식으로 선택한다.
• 비밀유지 예산을 준수하기 위해 비밀유지 메커니즘(예: 제안-테스트-릴리즈, 지수 메커니즘)을 사용하여 응답 집계 과정을 보장한다.
• 사용자에게는 오직 비밀유지된 집계된 출력만 반환하여, 한 개의 예시가 응답에 지배적인 영향을 미치지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 모델 미세조정이나 아키텍처 변경 없이도 인-컨텍스트 학습을 차별적 비밀유지로 구현할 수 있는가?
• RQ2 언어 생성 작업의 고차원적이고 무한한 출력 공간에 대해 차별적 비밀유지를 효과적으로 적용할 수 있는가?
• RQ3 텍스트 분류 및 요약과 같은 다양한 NLP 작업에서 DP-ICL의 성능-비밀유지 트레이드오프는 어떠한가?
• RQ4 모델 규모, 예시 수, 서브샘플링 비율이 DP-ICL의 성능과 비용에 어떤 영향을 미치는가?
• RQ5 실제 응용에서 강력한 비밀유지 보장을(예: ε ≤ 3) 확보하면서도 높은 성능을 유지할 수 있는가?

주요 결과

• SST-2 텍스트 분류 벤치마크에서 DP-ICL는 ε=3 조건에서도 95.80%의 정확도를 기록하여 비민감한 기준 모델과 동일한 성능을 달성했다.
• 문서 요약(SAMsum) 작업에서는 엄격한 비밀유지 예산 ε=1 조건에서도 ROUGE 점수의 감소가 약 1%에 그쳤다.
• ε=∞ 조건에서 인-컨텍스트 예시 수가 1에서 16까지 변화하더라도 성능이 안정적으로 유지되었지만, 서브샘플링으로 인한 노이즈 증가로 인해 8샷 및 16샷 조건에서는 약 10–20% 성능 저하가 발생했다.
• 서브샘플링 비율 0.5×10⁻²가 최적의 성능-비용 균형을 달성했으며, GPT-3 Babbage를 사용해 SST-2에서 100개 예측에 대해 단지 $0.0945의 비용이 들었다.
• PTR를 통한 키워드 공간 집계(KSA)는 임베딩 공간 집계(ESA)보다 문서 질의응답 작업에서 더 뛰어난 성능을 보였으며, 최대 10⁶개의 질의에서도 안정적인 성능 유지를 유지했다.
• 더 큰 모델(예: Davinci)은 DP-ICL 성능 향상을 보였으며, SST-2에서 ε=1 조건에서 Ada 모델의 정확도 73.31%에서 Davinci 모델의 95.11%로 상승함으로써 확장성의 이점을 보였다.