[논문 리뷰] Using Neural Generative Models to Release Synthetic Twitter Corpora with Reduced Stylometric Identifiability of Users

Alexander G. Ororbia, Fridolin Linder외 1명|arXiv (Cornell University)|2016. 06. 03.

Authorship Attribution and Profiling인용 수 3

한 줄 요약

이 논문은 사용자 고유의 단어 분포를 유지하면서 스타일로스티크 재식별 위험을 줄이기 위해 트위터 코퍼스를 합성하는 신경망 생성 모델을 제안한다. 개인 사용자를 조건으로 하고 온도 초수도를 조정함으로써, 삭제나 삭제 요청과 같은 윤리적·개인정보 문제를 해결하는 데 효과적이며, 재식별 위험을 크게 낮추면서도 최소한의 유틸리티 손실로 보다 우수한 위험-이용도 트레이드오프를 달성한다.

ABSTRACT

We present a method for generating synthetic versions of Twitter data using neural generative models. The goal is protecting individuals in the source data from stylometric re-identification attacks while still releasing data that carries research value. Specifically, we generate tweet corpora that maintain user-level word distributions by augmenting the neural language models with user-specific components. We compare our approach to two standard text data protection methods: redaction and iterative translation. We evaluate the three methods on measures of risk and utility. We define risk following the stylometric models of re-identification, and we define utility based on two general word distribution measures and two common text analysis research tasks. We find that neural models are able to significantly lower risk over previous methods with little cost to utility. We also demonstrate that the neural models allow data providers to actively control the risk-utility trade-off through model tuning parameters. This work presents promising results for a new tool addressing the problem of privacy for free text and sharing social media data in a way that respects privacy and is ethically responsible.

연구 동기 및 목표

• 사용자가 콘텐츠를 삭제하거나 삭제를 요청한 후에도 사회적 미디어 데이터를 공개하는 데 발생하는 윤리적 및 개인정보 문제를 해결하기 위해.
• 공유된 트위터 코퍼스에서 사용자 스타일로스티크 재식별 위험을 낮추되 분석적 유틸리티를 손상시키지 않기 위해.
• 레드랙션 또는 번역과 같은 날카로운 기법들과는 달리, 모델 초수도를 통해 프라이버시 조절이 가능한 민감한 데이터 기반의 융통성 있는 방법을 개발하기 위해.
• 위험 및 유틸리티 메트릭을 사용하여 표준 개인정보 보호 기법과의 비교를 통해 방법의 실증적 평가를 수행하기 위해.

제안 방법

• 개인 사용자 언어 특징을 조건으로 하여 합성 트윗을 생성하는 데 사용되는 새로운 신경망 아키텍처인 델타-RNN이 개발되었으며, 이는 사용자 고유의 단어 분포를 유지한다.
• 모델은 출력 분포의 노이즈 수준을 제어하기 위해 온도 초수도를 사용하며, 이는 직접적인 위험-이용도 트레이드오프 조절이 가능하게 한다.
• 사용자 임bedding을 순환 네트워크 아키텍처에 통합하여 사용자 고유의 조건부 생성을 실현한다.
• 사용자별 트윗 코퍼스로 훈련된 언어 모델을 사용해 문자 수준의 시퀀스를 생성함으로써 언어적 정밀도를 확보한다.
• 스타일로스티크 재식별 위험과 단어 분포 유사도를 핵심 평가 지표로 삼아, 레드랙션 및 반복 번역과의 비교를 수행한다.
• 온도 초수도를 체계적으로 변화시켜 위험(재식별 정확도)과 유틸리티(분포 유사도 및 작업 성능)에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 생성 모델은 사용자 수준의 언어 패턴을 유지하면서도 합성 트위터 코퍼스에서 스타일로스티크 재식별 위험을 효과적으로 줄일 수 있는가?
• RQ2 레드랙션 및 반복 번역과 같은 전통적 기법들과 비교할 때 신경망 생성의 위험-이용도 트레이드오프는 어떠한가?
• RQ3 온도 초수도가 프라이버시와 데이터 유틸리티 사이의 균형을 얼마나 정밀하게 조절하는 데 활용될 수 있는가?
• RQ4 신경망 모델은 일반적인 NLP 작업에서 원본 데이터의 분포 및 작업 전용 유틸리티를 유지하는가?
• RQ5 다양한 스타일로스티크 공격 모델과 특징 세트에 대해 제안된 방법은 얼마나 강건한가?

주요 결과

• 신경망 모델은 재식별 위험을 크게 줄였으며, 최적의 온도 설정에서 10% 미만의 위험을 기록했고, 레드랙션 대비 50% 이상의 위험을 기록했다.
• 델타-RNN 모델은 모든 평가 지표에서 레드랙션 및 번역을 모두 능가하며 가장 우수한 위험-이용도 트레이드오프를 달성했다.
• 낮은 온도 값은 희귀하고 식별 가능한 단어를 억제함으로써 위험을 감소시키지만, 분포 유사도 감소로 인해 유틸리티도 감소시킨다.
• 온도 초수도는 위험-이용도 트레이드오프에 대한 정밀한 제어를 가능하게 하며, 레드랙션이나 번역에서는 확보할 수 없는 조절 가능한 프라이버시 노브를 제공한다.
• 감성 분류 및 n-gram 유사도 작업에서, 낮은 온도 설정에서도 신경망 모델은 높은 유틸리티를 유지하며 성능 저하를 최소화했다.
• 다양한 스타일로스티크 공격 모델에 대해 모델의 성능은 강건했으며, 다양한 재식별 시나리오에서의 효과성을 입증했다.