[논문 리뷰] You Are What You Write: Preserving Privacy in the Era of Large Language Models

Richard E. Plant, Mario Valerio Giuffrida외 1명|arXiv (Cornell University)|2022. 04. 20.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 다국어 모델을 통해 사전 훈련된 표현에서 인구통계학적 정보 泄露를 분석함으로써 대규모 언어 모델(Large Language Models, LLMs)의 프라이버시 위험을 조사한다. 더 크고 복잡한 모델일수록 더 많은 개인 정보를 泄露하는 것으로 밝혀졌으며, 프라이버시 보호 기법을 평가한 결과, 차등 프라이버시(differential privacy)는 유용성의 손실을 감수하면서 泄露를 감소시키지만, 하이브리드 및 메트릭-DP 방법은 균형 잡힌 트레이드오프를 제공함을 확인하였다.

ABSTRACT

Large scale adoption of large language models has introduced a new era of convenient knowledge transfer for a slew of natural language processing tasks. However, these models also run the risk of undermining user trust by exposing unwanted information about the data subjects, which may be extracted by a malicious party, e.g. through adversarial attacks. We present an empirical investigation into the extent of the personal information encoded into pre-trained representations by a range of popular models, and we show a positive correlation between the complexity of a model, the amount of data used in pre-training, and data leakage. In this paper, we present the first wide coverage evaluation and comparison of some of the most popular privacy-preserving algorithms, on a large, multi-lingual dataset on sentiment analysis annotated with demographic information (location, age and gender). The results show since larger and more complex models are more prone to leaking private information, use of privacy-preserving methods is highly desirable. We also find that highly privacy-preserving technologies like differential privacy (DP) can have serious model utility effects, which can be ameliorated using hybrid or metric-DP techniques.

연구 동기 및 목표

• 사전 훈련된 언어 모델의 표현을 통해 연령, 성별, 거주지 등의 인구통계학적 정보가 어느 정도 泄露되는지 평가하기.
• 특히 차등 프라이버시(DP) 및 하이브리드 방법을 포함한 프라이버시 보호 기법의 효과성을 평가하여 이러한 데이터 泄露를 완화하는 데 기여하기.
• 다양한 다국어 NLP 데이터셋에서 모델의 유용성과 프라이버시 보호 간의 트레이드오프를 조사하기.
• 모델 아키텍처와 사전 훈련 데이터 크기가 LLM의 프라이버시 위험에 미치는 영향을 실증적으로 입증하기.
• 실세계 NLP 응용 프로그램에서 유용성과 보호 간 균형을 이루는 프라이버시 보호 방법을 선택하는 데 도움이 되는 지침 제공하기.

제안 방법

• 성별 태그가 부여된 다국어 감성 분석 데이터셋을 대상으로 BERT, RoBERTa, GPT-2 및 다국어 버전을 포함한 여러 유명한 사전 훈련된 언어 모델을 실증적으로 평가함.
• 모델 임bedding에 대해 하류 분류기를 훈련하여 연령, 성별, 거주지 등의 인구통계학적 특성을 예측하고, 분류 정확도를 통해 泄露 수준을 측정함.
• 모델을 미세조정할 때 차등 프라이버시(DP) 및 메트릭-DP 기법을 적용하여 노이즈 스케일과 클리핑 임계값을 조정함으로써 프라이버시-유용성 트레이드오프를 제어함.
• 모델에 종속적이지 않은 데이터 필터링과 DP를 조합한 하이브리드 접근 방식을 사용하여 泄露를 줄이면서도 모델 성능을 유지함.
• 영어, 프랑스어, 독일어, 덴마크어, 노르웨이어를 포함한 17개 언어에서 모델을 평가하여 다국어 일반화 능력을 확보함.
• 인구통계학적 특성에 대한 분류 정확도를 사용해 프라이버시 泄露를 측정하고, 하류 감성 분류 F1 스코어를 통해 모델 유용성도 평가함.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 히든 표현을 통해 연령, 성별, 거주지 등의 인구통계학적 정보를 어느 정도 泄露하는가?
• RQ2 모델 복잡도와 사전 훈련 데이터 크기의 증가가 LLM의 프라이버시 泄露 수준에 어떤 영향을 미치는가?
• RQ3 차등 프라이버시 및 메트릭-DP 기법이 모델 유용성의 심각한 저하 없이 인구통계학적 정보 泄露를 얼마나 효과적으로 줄이는가?
• RQ4 하이브리드 프라이버시 보호 방법이 순수 DP 또는 모델에 종속적이지 않은 기법보다 더 나은 프라이버시-유용성 트레이드오프를 달성할 수 있는가?
• RQ5 다국어 환경에서 다양한 언어와 인구통계학적 집단 간에 프라이버시 보호 기법의 성능은 어떻게 달라지는가?

주요 결과

• 더 크고 복잡한 언어 모델일수록 인구통계학적 정보 泄露 수준이 유의미하게 높으며, 일부 모델에서 성별 및 거주지 예측 정확도가 최대 62%에 이르렀다.
• 모델 크기, 사전 훈련 데이터 볼륨과 프라이버시 泄루 수준 사이에 정적 상관관계가 발견되어 스케일업이 프라이버시 비용을 수반함을 시사함.
• 차등 프라이버시(DP) 기법은 泄露를 효과적으로 줄이지만, 특히 자원이 적은 언어에서 모델 유용성이 떨어지는 경향이 있으며, 일부 사례에서 F1 스코어가 최대 15% 감소함.
• 데이터 필터링과 DP를 조합한 하이브리드 방법은 더 나은 프라이버시-유용성 트레이드오프를 달성하여 泄露를 40–60% 감소시키면서도 원래 모델 유용성의 85–90%를 유지함.
• 메트릭-DP 기법은 표준 DP보다 유용성 유지 능력에서 높은 잠재력을 보였으며, 특히 언어 복잡도에 따라 노이즈 스케일을 적응적으로 조정함으로써 다국어 모델에 적용했을 때 유의미한 성과를 보임.
• 연구는 공개적으로 제공되며 익명화된 데이터셋조차도 재식별 가능한 인구통계학적 신호를 내포할 수 있음을 확인하여, NLP 파이프라인에서 사전 프라이버시 조치가 필요함을 시사함.