[논문 리뷰] Training Data Leakage Analysis in Language Models

Huseyin A. Inan, Osman Ramadan외 5명|arXiv (Cornell University)|2021. 01. 14.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 22

한 줄 요약

이 논문은 공격자가 입력 접두어에 대해 모델의 상위-k 예측 결과만 접근할 수 있는 강력한 블랙박스 위협 모델 하에서 사용자 수준의 데이터 泄露를 탐지하고 정량화하기 위한 방법론을 제안한다. 이는 훈련 데이터에서 고유한 문장 조각을 재생산할 수 있는 모델의 능력을 측정할 수 있는 두 가지 새로운 지표를 도입함으로써, 다양한 모델 간의 프라이버시 비교 및 차등 프라이버시와 API 하드닝과 같은 보완 조치의 평가를 가능하게 한다.

ABSTRACT

Recent advances in neural network based language models lead to successful deployments of such models, improving user experience in various applications. It has been demonstrated that strong performance of language models comes along with the ability to memorize rare training samples, which poses serious privacy threats in case the model is trained on confidential user content. In this work, we introduce a methodology that investigates identifying the user content in the training data that could be leaked under a strong and realistic threat model. We propose two metrics to quantify user-level data leakage by measuring a model's ability to produce unique sentence fragments within training data. Our metrics further enable comparing different models trained on the same data in terms of privacy. We demonstrate our approach through extensive numerical studies on both RNN and Transformer based models. We further illustrate how the proposed metrics can be utilized to investigate the efficacy of mitigations like differentially private training or API hardening.

연구 동기 및 목표

• 기밀 사용자 콘텐츠를 훈련 데이터로 사용한 언어 모델에서 프라이버시 泄露 위험을 조사한다. 특히 드문 또는 민감한 시퀀스에 초점을 맞춘다.
• 모델 개발자와 배포자에게 실질적인 조치를 취할 수 있도록 사용자 수준의 프라이버시 泄露를 정량화하는 데 도전한다.
• 동일한 데이터로 훈련된 다양한 모델 간의 프라이버시 특성을 공정하게 비교할 수 있도록 도와주는 지표를 개발한다. 예를 들어, 차등 프라이버시 모델과 표준 모델 간의 비교를 포함한다.
• 제안된 지표를 사용하여 차등 프라이버시와 API 하드닝과 같은 프라이버시 보존 기법의 효과성을 평가한다.
• 실세계 시스템에서 언어 모델의 배포 라이프사이클 기간 동안 프라이버시 평가를 위한 실용적 프레임워크를 제공한다.

제안 방법

• 공격자가 주어진 입력 접두어에 대해 모델의 상위-k 토큰 예측 결과만 접근할 수 있는 강력한 블랙박스 위협 모델을 정의한다.
• 훈련 데이터의 컨텍스트에서 유도된 프롬프트를 반복적으로 제공함으로써 훈련 데이터의 고유한 문장 조각을 재구성하는 프로빙 절차를 설계한다.
• 두 가지 지표를 도입한다: (1) 주어진 컨텍스트에서 고유한 조각을 복구할 확률, (2) 컨텍스트당 복구 가능한 고유한 조각의 평균 수.
• 실세계 데이터셋을 사용하여 RNN 및 트랜스포머 기반 언어 모델에 대해 이 방법을 적용하여 프라이버시 泄露를 평가한다.
• 지표를 사용하여 차등 프라이버시를 적용한 모델와 적용하지 않은 모델를 비교하고, API 하드닝이 泄露에 미치는 영향을 평가한다.
• 지표를 활용하여 다양한 모델 아키텍처와 데이터 분포에서의 모델 동작을 분석하며, 특히 드문 또는 민감한 훈련 시퀀스에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 공격자가 원본 컨텍스트를 사용해 프롬프트를 제공할 때, 언어 모델이 훈련 데이터의 고유한 문장 조각을 얼마나 잘 재구성할 수 있는가?
• RQ2 다양한 아키텍처(예: RNN 대비 트랜스포머) 간에 드문 또는 민감한 훈련 시퀀스를 재구성하는 능력은 어떻게 달라지는가?
• RQ3 차등 프라이버시와 API 하드닝은 모델이 사용자 수준의 데이터를 泄露할 능력을 얼마나 효과적으로 줄이는가?
• RQ4 제안된 지표는 동일한 데이터셋으로 훈련된 서로 다른 모델 간의 프라이버시 특성을 신뢰성 있게 비교할 수 있는가?
• RQ5 실제 위협 모델 하에서 모델의 기억화(memorization)와 사용자 재식별 가능성 간의 관계는 어떠한가?

주요 결과

• 제안된 지표는 사용자 수준의 데이터 泄露를 효과적으로 정량화하며, 차등 프라이버시를 적용한 모델와 적용하지 않은 모델 간에 유의미한 차이를 보였다.
• 차등 프라이버시를 적용한 모델는 비공개 기반 모델 대비 고유한 문장 조각을 재구성할 능력이 뚜렷이 감소하여, DP가 泄露를 완화하는 데 효과적임을 확인했다.
• 강력한 블랙박스 위협 모델(상위-k 예측만 가능) 하에서도 많은 모델이 드문 훈련 조각을 재구성할 수 있어, 여전히 지속적인 프라이버시 위험이 있음을 시사한다.
• 이 프레임워크는 API 하드닝(상위-k 예측 결과만 제공)을 통해 泄露를 줄일 수 있음을 보여주지만, 특히 기억 능력이 높은 모델의 경우 완전히 제거하지는 못함을 입증했다.
• 지표 분석 결과 RNN과 트랜스포머 모델은 서로 다른 방식으로 泄露 패턴을 보였으며, 트랜스포머 모델은 드문 시퀀스에 대해 더 높은 기억 능력을 보였다.
• 기존의 노출(Exposure) 지표는 사용자 수준의 프라이버시 평가에 부적합하며, 제안된 지표는 프라이버시 泄露 위험에 대해 더 직접적이고 실질적인 측정을 가능하게 한다.