[논문 리뷰] Differentially Private Decoding in Large Language Models

Jimit Majmudar, Christophe Dupuy외 4명|arXiv (Cornell University)|2022. 05. 26.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 재학습 없이 추론 시점에 모델의 출력 확률 분포에 직접 노이즈를 적용하는 차별적(private) 디코딩 메커니즘을 제안한다. 이 방법은 유용성과 프라이버시 간의 트레이드오프를 달성하며, 강력한 프라이버시 보장을 받는 경우(예: ε ≤ 65)에도 유용성이 크게 떨어지지 않아, 민감한 데이터를 처리하는 상용 응용 분야에서 실용적인 프라이버시 보장이 가능한 LLM의 구축을 가능하게 한다.

ABSTRACT

Recent large-scale natural language processing (NLP) systems use a pre-trained Large Language Model (LLM) on massive and diverse corpora as a headstart. In practice, the pre-trained model is adapted to a wide array of tasks via fine-tuning on task-specific datasets. LLMs, while effective, have been shown to memorize instances of training data thereby potentially revealing private information processed during pre-training. The potential leakage might further propagate to the downstream tasks for which LLMs are fine-tuned. On the other hand, privacy-preserving algorithms usually involve retraining from scratch, which is prohibitively expensive for LLMs. In this work, we propose a simple, easy to interpret, and computationally lightweight perturbation mechanism to be applied to an already trained model at the decoding stage. Our perturbation mechanism is model-agnostic and can be used in conjunction with any LLM. We provide theoretical analysis showing that the proposed mechanism is differentially private, and experimental results showing a privacy-utility trade-off.

연구 동기 및 목표

• 사전 훈련된 LLM에서의 기억화(memorization) 위험으로 인해 기밀 훈련 데이터가 泄露될 수 있는 문제를 해결하기 위해.
• 비용이 많이 들는 재학습 없이도 기존에 훈련된 LLM에 대해 실용적인 프라이버시 솔루션을 제공하기 위해.
• 추론 시점에 적용 가능한 계산 효율적인 후처리 노이즈 부여 메커니즘을 설계하기 위해.
• 이론적 및 실증적으로 메커니즘의 차별적 프라이버시 보장과 유용성 트레이드오프를 검증하기 위해.
• 민감한 데이터를 처리하는 상용 응용 분야에서 프라이버시를 보장하는 LLM의 구축을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 LLM의 소프트맥스 출력 분포에 노이즈를 추가하는 노이즈 부여 메커니즘이 디코딩 과정에서 적용된다.
• 노이즈는 비율 λ를 가진 라플라스 분포에서 추출되며, λ는 프라이버시-유용성 트레이드오프를 제어한다.
• 차별적 프라이버시의 후처리 성질을 활용하여, 이후의 파인튜닝 조차도 프라이버시 보장이 유지됨을 보장한다.
• 이론적 분석을 통해 메커니즘이 ε-차별적 프라이버시를 만족하며, ε는 λ·T/|V|로 유계됨을 증명한다. 여기서 T는 마스킹된 토큰의 평균 수이고, |V|는 어휘 크기이다.
• 이 방법은 모델 독립적이며, 아키텍처나 가중치를 수정하지 않고도 어떤 LLM에도 적용 가능하다.
• 다양한 프라이버시 수준(ε)에서의 성능 저하를 평가하기 위해 퍼플렉서티(perplexity)를 유용성 지표로 사용한다.

실험 결과

연구 질문

• RQ1 경량의 후처리 노이즈 부여 메커니즘이 기존에 훈련된 LLM에 대해 강력한 차별적 프라이버시 보장을 제공할 수 있는가?
• RQ2 이 디코딩 시점 노이즈 부여 방법에서 프라이버시(ε)와 모델 유용성(퍼플렉서티) 간의 트레이드오프는 어떠한가?
• RQ3 다양한 프라이버시 예산(λ)과 모델 구성에서 이 방법의 성능은 어떠한가?
• RQ4 재학습이나 아키텍처 변경 없이도 이 방법이 프라이버시를 유지할 수 있는가?
• RQ5 LLM이 하류 작업을 위해 파인튜닝된 후에도 이 노이즈 부여 메커니즘이 효과를 유지하는가?

주요 결과

• 실험 결과, 메커니즘이 ε ≤ 65를 달성하여 합리적인 프라이버시 보장을 확보하면서도 유용성 손실이 최소한이었다.
• ε ≤ 60 (λ ≤ 0.7)일 경우, 비프라이버시 모델 대비 퍼플렉서티가 40% 이상 증가하여 성능 저하가 심각한 것으로 나타났다.
• ε ≤ 50 (λ ≤ 0.2)일 경우, 퍼플렉서티가 20을 초과하여 상대적 증가율이 350%에 이를 정도로 모델이 사용 불가능해졌다.
• ε ≥ 65일 경우, 성능 저하가 거의 없어져 강력한 프라이버시를 확보하면서도 유용성에 거의 영향을 주지 않는 것으로 나타났다.
• 프라이버시 손실 ε는 예측 토큰 수 T에 대해 선형적으로 증가하고 어휘 크기 |V|에 대해 반비례하므로, 더 낮은 지원 크기(지원 크기 감소)가 더 타이트한 프라이버시 경계를 확보하는 데 중요하다는 점을 시사한다.
• 후처리 성질 덕분에, LLM이 하류 작업을 위해 파인튜닝된 후에도 이 방법이 효과를 유지한다.