[논문 리뷰] What Does it Mean for a Language Model to Preserve Privacy?

Hannah Brown, Katherine Lee외 3명|arXiv (Cornell University)|2022. 02. 11.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 현재 언어 모델의 개인정보 보호 기법—예를 들어 데이터 정제 및 차별적 프라이버시—가 데이터 구조와 민감성에 대한 좁은 가정을 바탕으로 하여 인간의 프라이버시 기대를 충족하지 못한다고 주장한다. 저자들은 기존 방법으로는 맥락적 통합성과 정보 제공의 동의가 이룰 수 없기에, 유의미한 개인정보 보호를 달성할 수 있는 유일한 방법은 공개 목적의 텍스트에만 기반해 훈련된 언어 모델뿐이라고 결론 내린다.

ABSTRACT

Natural language reflects our private lives and identities, making its privacy concerns as broad as those of real life. Language models lack the ability to understand the context and sensitivity of text, and tend to memorize phrases present in their training sets. An adversary can exploit this tendency to extract training data. Depending on the nature of the content and the context in which this data was collected, this could violate expectations of privacy. Thus there is a growing interest in techniques for training language models that preserve privacy. In this paper, we discuss the mismatch between the narrow assumptions made by popular data protection techniques (data sanitization and differential privacy), and the broadness of natural language and of privacy as a social norm. We argue that existing protection methods cannot guarantee a generic and meaningful notion of privacy for language models. We conclude that language models should be trained on text data which was explicitly produced for public use.

연구 동기 및 목표

• 자연어에서 기술적 개인정보 보호 조치와 인간의 프라이버시 기대 간의 괴리 분석
• 민감한 언어 데이터를 보호하는 데 있어 데이터 정제 및 차별적 프라이버시의 한계 비판
• 사용자들이 개인 정보를 언어 모델 훈련에 사용하는 데 대해 실질적인 정보 제공의 동의가 불가능한 이유 설명 (개인 정보가 문맥적이고 집단적인 성격을 지님)
• 언어 모델은 공개 목적의 텍스트에만 훈련되어야 한다고 제안
• 데이터 보호에서 공개 목적의 텍스트를 대상으로 한 개인정보 보존 훈련으로의 전환 촉구

제안 방법

• 논문은 기술적 가정과 사회적 프라이버시 규범 간의 대비를 고려해 언어 모델의 프라이버시에 대해 개념적 및 규범적 분석을 수행한다.
• 형식적 패턴을 초월해 의미적으로 민감한 콘텐츠를 식별하지 못하는 점을 고려해 데이터 정제의 한계를 평가한다.
• 데이터 기록이 명확히 정의되어 있어야만 작동하는 점을 고려해 차별적 프라이버시의 한계를 비판한다. 이는 언어의 유동적이고 집단 기반의 성격과 맞지 않는다.
• 맥락적 통합성 개념을 프라이버시 기준으로 도입하여, 모델이 데이터 사용의 원래 맥락을 존중해야 한다고 주장한다.
• 실질적인 대안으로, 공개 배포를 위해 명시적으로 의도된 텍스트에만 기반해 언어 모델을 훈련하는 것을 제안한다.
• 사용자 개인정보를 개인화된 환경에서 보존하기 위해 국소적 피지컬 튜닝을 보완적 접근으로 제안한다.

실험 결과

연구 질문

• RQ1 데이터 정제 기법은 자연어 텍스트에서 모든 형태의 개인정보를 신뢰성 있게 식별하고 제거할 수 있는가?
• RQ2 의미가 모호하거나 집단적 경계가 모호한 자연어 데이터에 대해 차별적 프라이버시가 얼마나 실질적인 개인정보 보호 보장을 제공하는가?
• RQ3 사용자가 자신의 비공개 텍스트가 언어 모델 훈련에 사용되는 것에 대해 실질적인 정보 제공의 동의를 할 수 있는가?
• RQ4 인간의 사회적 규범을 고려할 때 언어 모델 맥락에서 '의미 있는' 개인정보 보장이란 무엇인가?
• RQ5 데이터 보호 기법에만 의존하지 않고도 언어 모델에서 진정으로 개인정보 보호를 달성할 수 있는가?

주요 결과

• 데이터 정제는 맥락적 민감성을 반영하지 못하는 형식적 사양에 의존하기 때문에 대부분의 의미적 개인정보를 인식하지 못한다.
• 차별적 프라이버시는 잘 정의된 개별 데이터 기록을 전제로 하므로 제한된 보호만 제공한다. 그러나 언어의 집단적이고 맥락적인 성격을 반영하지 못한다.
• 사용자는 자신의 데이터가 어떻게 저장되고 처리되며 공유되는지 잘 모를 경우가 많기 때문에, 데이터를 언어 모델 훈련에 사용하는 데 대해 정보 제공의 동의를 내릴 수 없다.
• 비공개 정보는 종종 여러 개인이 공유하므로, 개인의 동의만으로는 부족하고 비현실적이다.
• 공개 가능한 데이터에 기반한 언어 모델은 여전히 개인정보를 침해할 수 있다. 왜냐하면 그러한 데이터가 반드시 공개 목적을 위한 것은 아니기 때문이다.
• 의미 있는 개인정보 보존을 위한 唯一의 실현 가능한 길은 공개 목적의 텍스트에만 기반해 언어 모델을 훈련하는 것이다.