[논문 리뷰] SynTF: Synthetic and Differentially Private Term Frequency Vectors for Privacy-Preserving Text Mining

Benjamin Weggenmann, Florian Kerschbaum|arXiv (Cornell University)|2018. 05. 02.

Spam and Phishing Detection참고 문헌 38인용 수 16

한 줄 요약

SynTF는 저자 특정을 방지하면서 텍스트 마이닝 작업에 유용성을 유지하는 합성 어근 빈도 벡터를 생성하기 위한 차별적 비공식 방법을 제안한다. 최적화된 프라이버시 한계를 적용한 지수 기반 기법을 통해 강력한 프라이버시 보장을 달성하면서도, 후속 분류 정확도에 미치는 영향을 최소화하여 저자 특정을 불가능하게 한다.

ABSTRACT

Text mining and information retrieval techniques have been developed to assist us with analyzing, organizing and retrieving documents with the help of computers. In many cases, it is desirable that the authors of such documents remain anonymous: Search logs can reveal sensitive details about a user, critical articles or messages about a company or government might have severe or fatal consequences for a critic, and negative feedback in customer surveys might negatively impact business relations if they are identified. Simply removing personally identifying information from a document is, however, insufficient to protect the writer's identity: Given some reference texts of suspect authors, so-called authorship attribution methods can reidentfy the author from the text itself. One of the most prominent models to represent documents in many common text mining and information retrieval tasks is the vector space model where each document is represented as a vector, typically containing its term frequencies or related quantities. We therefore propose an automated text anonymization approach that produces synthetic term frequency vectors for the input documents that can be used in lieu of the original vectors. We evaluate our method on an exemplary text classification task and demonstrate that it only has a low impact on its accuracy. In contrast, we show that our method strongly affects authorship attribution techniques to the level that they become infeasible with a much stronger decline in accuracy. Other than previous authorship obfuscation methods, our approach is the first that fulfills differential privacy and hence comes with a provable plausible deniability guarantee.

연구 동기 및 목표

• 개인식별정보(PII) 제거에도 불구하고 저자 재식별 위험을 해결하기 위해, 특히 저자 특정 기법에 의해 발생하는 위험을 해결한다.
• PII 제거에 의존하지 않고 텍스트를 벡터 수준(어근 빈도 벡터)에서 익명화하는 방법을 개발한다.
• 차별적 비공식을 충족시켜 강력한 프라이버시 보장을 확보하고, 증명 가능한 신뢰할 수 있는 부정행위 가능성을 보장한다.
• 텍스트 분류와 같은 후속 텍스트 마이닝 작업에 대해 높은 유용성을 유지한다.
• 저자 특정에 저항하면서도 분류 정확도를 유지하는 방법의 효과를 평가한다.

제안 방법

• SynTF는 차별적 비공식의 핵심 기법인 지수 기반 기법을 사용하여 합성 어근 빈도 벡터를 생성함으로써 프라이버시 보장을 확보한다.
• 어근 빈도 벡터의 출력 공간에 프라이버시 예산(에프릴론)을 적용하며, 새로운 경계 유도로 인해 프라이버시 손실이 약 50% 감소한다.
• 기존 벡터와 합성 벡터 간 유사도를 기반으로 하는 스코어링 함수를 사용하여 가장 유용성을 유지하는 합성 벡터를 선택한다.
• 벡터 공간 모델 표현에 직접 작용하여 원본 어근 빈도 벡터를 차별적 비공식 합성 벡터로 대체한다.
• SynTF는 데이터 원천에서 로컬로 적용되도록 설계되어 데이터 수집 이전에 현장 내에서 익명화를 가능하게 한다.
• 출력 벡터의 희박성(스퍼스리티)를 보장하여 메모리 효율성과 후속 작업의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 차별적 비공식 방법이 텍스트 분류에 유용성을 유지하면서도 저자 특정을 방지할 수 있는 합성 어근 빈도 벡터를 생성할 수 있는가?
• RQ2 SynTF의 프라이버시-유용성 트레이드오프는 전통적인 PII 정제 방법과 비교해 저자 특정에 저항하는 데 어떻게 다른가?
• RQ3 SynTF가 분류 작업에서 충분한 유용성을 유지하기 위해 필요한 프라이버시 예산(에프릴론)은 얼마인가?
• RQ4 지수 기반 기법을 고차원 출력 공간을 가진 벡터 공간 모델 표현에 효과적으로 적용할 수 있는가?
• RQ5 지수 기반 기법에 대한 프라이버시 손실 감소 경계가 유용성을 크게 향상시키면서도 프라이버시를 훼손하지 않는가?

주요 결과

• SynTF는 출력 벡터에서 단어당 프라이버시 손실이 단지 25.4에 불과하여 기존 방법에 비해 노이즈를 크게 감소시킨다.
• 메서드는 높은 유용성을 유지하며, 최적의 파rameter 조건에서 20 Newsgroups 데이터셋에서 텍스트 분류 정확도가 5% 미만으로 떨어진다.
• 저자 특정 기법은 SynTF로 익명화된 데이터에서는 완전히 실패하며, 정확도가 근사 무작위 수준(10% 이하)으로 떨어지지만 원본 데이터에서는 90% 이상의 정확도를 기록한다.
• 기존의 PII 정제 방법은 저자 특정에 효과적이지 않으며, 정제된 데이터에서 저자 특정 모델의 성공률이 높게 나타난다.
• 지수 기반 기법에 대한 프라이버시 손실 감소 경계 유도로 인해 프라이버시 손실이 약 50% 감소하여 유용성을 향상시키면서도 프라이버시를 훼손하지 않는다.
• SynTF는 현장 내 익명화를 가능하게 하여 개인 저자 신원을暴露하지 않고 기계 학습 모델 훈련을 위한 안전한 데이터 수집을 가능하게 한다.