[논문 리뷰] I Am Not What I Write: Privacy Preserving Text Representation Learning

Ghazaleh Beigi, Kai Shu외 3명|arXiv (Cornell University)|2019. 07. 06.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 18

한 줄 요약

이 논문은 차별적 비밀보장, 개인 정보를 은폐하고, 하류 NLP 작업에 대해 높은 유용성을 유지하는 개인정보 보호 텍스트 표현을 학습하기 위한 새로운 프레임워크인 DPText를 제안한다. 자동에코더와 차별적 비밀보장 노이즈, 의미 분류기, 개인 정보 속성 분류기를 조합함으로써 DPText는 의미를 유지하면서도 재식별 위험과 개인 정보 泄露 위험을 효과적으로 줄인다. 이는 감성 분석 및 품사 태깅 작업에서 검증되었다.

ABSTRACT

Online users generate tremendous amounts of textual information by participating in different activities, such as writing reviews and sharing tweets. This textual data provides opportunities for researchers and business partners to study and understand individuals. However, this user-generated textual data not only can reveal the identity of the user but also may contain individual's private information (e.g., age, location, gender). Hence, "you are what you write" as the saying goes. Publishing the textual data thus compromises the privacy of individuals who provided it. The need arises for data publishers to protect people's privacy by anonymizing the data before publishing it. It is challenging to design effective anonymization techniques for textual information which minimizes the chances of re-identification and does not contain users' sensitive information (high privacy) while retaining the semantic meaning of the data for given tasks (high utility). In this paper, we study this problem and propose a novel double privacy preserving text representation learning framework, DPText, which learns a textual representation that (1) is differentially private, (2) does not contain private information and (3) retains high utility for the given task. Evaluating on two natural language processing tasks, i.e., sentiment analysis and part of speech tagging, we show the effectiveness of this approach in terms of preserving both privacy and utility.

연구 동기 및 목표

• 사용자 생성 텍스트 데이터에서 개인 신원과 민감한 속성을 드러내는 개인정보 보호 문제를 해결하기 위해.
• 하류 NLP 작업에 대해 의미 유용성을 유지하면서도 재식별 및 속성 추론 위험을 최소화하는 방법을 설계하기 위해.
• 기존 기법인 PII 제거, k-동등성, 표준 차별적 비밀보장의 한계를 극복하기 위해, 잠재 표현에 대한 추론 공격을 방지하지 못하는 기법들에 대비하기 위해.
• 차별적 비밀보장과 표현 학습을 통합하여 동시에 개인정보 보호와 유용성을 유지하는 통합 프레임워크를 개발하기 위해.
• 학습된 텍스트 표현이 의미적으로 의미 있고, 개인 정보 속성 추론 및 재식별에 저항할 수 있도록 보장하기 위해.

제안 방법

• 프레임워크는 원시 텍스트 입력에서 압축된 저차원 표현을 학습하기 위해 자동에코더를 사용한다.
• 차별적 비밀보장은 잠재 표현에 라플라스 노이즈를 추가함으로써 확보되며, 이는 개인 데이터 포인트가 재식별될 수 없음을 보장한다.
• 의미 유지를 위해 의미 내용을 유지하는 의미 분류기가 훈련된다. 이는 하류 작업에 대한 유용성을 보장한다.
• 개인 정보 속성 분류기는 잠재 표현에서 민감한 속성(예: 연령, 성별, 건강 상태)을 추론할 수 있는 능력을 최소화하기 위해 사용된다.
• 모델은 적대적 훈련을 통해 종단 간(end-to-end)으로 훈련된다: 자동에코더는 개인 정보 속성 분류기를 속이면서도 의미 분류기 조건과 차별적 비밀보장 제약을 만족하는 표현을 생성하도록 학습된다.
• 프레임워크는 초기 표현 모델에 관계없이 적용 가능하므로, doc2vec와 같은 기존 방법과 통합이 가능하다.

실험 결과

연구 질문

• RQ1 텍스트 표현 학습 프레임워크가 동시에 차별적 비밀보장, 개인 정보 은폐, 의미 유용성을 보장할 수 있는가?
• RQ2 제안된 프레임워크는 개인 텍스트 표현의 재식별 위험을 얼마나 효과적으로 줄이는가?
• RQ3 학습된 표현에서 성별, 연령, 또는 의료 상태와 같은 개인 정보 속성의 추론을 얼마나 효과적으로 방지하는가?
• RQ4 실제 NLP 작업에서 기존 방법과 비교해 프레임워크의 유용성과 개인정보 보호 성능은 어떠한가?
• RQ5 의미와 개인 정보 속성 분류기의 통합은 표준 차별적 비밀보장 또는 단순 적대적 훈련에 비해 개인정보-유용성 트레이드오프를 어떻게 향상시키는가?

주요 결과

• DPText는 잠재 공간에 라플라스 노이즈를 주입함으로써 차별적 비밀보장을 강제함으로써 개인 텍스트 표현의 재식별 위험을 크게 줄였다.
• 개인 정보 속성 분류기가 학습된 표현에서 민감한 속성을 정확하게 예측하지 못함으로써, 프레임워크가 개인 정보 속성 정보를 성공적으로 은폐함을 입증했다.
• 감성 분석 및 품사 태깅과 같은 하류 작업에서 뛰어난 성능을 보이며 원본 텍스트의 의미가 잘 유지됨을 입증했다.
• 이전 연구와 비교해, PII 제거나 표준 차별적 비밀보장에 의존하는 방법들은 잠재 표현에서의 추론을 방지하지 못함에도 불구하고, DPText는 이를 초월하여 성능을 냈다.
• 의미와 개인 정보 속성 분류기의 이중 구조를 가진 적대적 훈련은 의미 충실도와 개인 정보 유출을 동시에 모델링하지 않는 기존 접근법보다 더 나은 개인정보-유용성 트레이드오프를 보였다.
• 프레임워크는 강건하고 일반화 능력이 뛰어나, 특정 사전 학습된 표현 모델에 의존하지 않으며, 기존 텍스트 임베딩 기법과 통합이 가능하다.