[논문 리뷰] Exploring Linkablility of Community Reviewing

Mishari Al Mishari, Gene Tsudik|arXiv (Cornell University)|2011. 11. 01.

Spam and Phishing Detection참고 문헌 20인용 수 3

한 줄 요약

이 논문은 대규모 Yelp 데이터셋을 바탕으로 간단한 통계 모델을 사용하여 커뮤니티 리뷰 플랫폼에서 익명 리뷰의 연결 가능성(linkability)을 조사한다. 분석 결과, 활동적인 기여자들이 작성한 리뷰 중 최대 99퍼센트가 글쓰기 스타일만으로도 높은 신뢰도로 연결 가능하며, 리뷰 내에서 일관된 저자적 특성들이 존재함으로써 심각한 개인정보 유출 위험이 드러난다.

ABSTRACT

Large numbers of people all over the world read and contribute to various review sites. Many contributors are understandably concerned about privacy; specifically, about linkability of reviews (and accounts) across review sites. In this paper, we study linkability of community reviewing and try to answer the question: to what extent are "anonymous" reviews linkable, i.e., likely authored by the same contributor? Based on a very large set of reviews from a popular site (Yelp), we show that a high percentage of ostensibly anonymous reviews can be linked with very high confidence. This is despite the fact that we use very simple models and equally simple features set. Our study suggests that contributors reliably expose their identities in reviews. This has important implications for cross-referencing accounts between different review sites. Also, techniques used in our study could be adopted by review sites to give contributors feedback about privacy of their reviews.

연구 동기 및 목표

• 커뮤니티 리뷰 사이트에서 보기에 익명인 리뷰가 얼마나 높은 수준으로 동일한 저자와 연결될 수 있는지 평가하는 것.
• 리뷰 간 일관된 글쓰기 스타일이 기여자의 고도로 신뢰할 수 있는 재식별(re-identification)을 가능하게 하는지 조사하는 것.
• 리뷰 연결 가능성 기반으로 스팸 또는 자기 리뷰 행위를 탐지할 수 있는지 가능성 탐색하는 것.
• 리뷰 사이트가 사용자에게 자신의 리뷰가 얼마나 연결 가능성이 있는지에 대한 개인정보 인식 피드백 메커니즘을 제공할 수 있도록 하는 것.

제안 방법

• 익명 리뷰를 저자 그룹으로 분류하기 위해 알파벳 문자 빈도 분포만을 특성으로 사용한 나이브 베이즈 분류기 적용.
• 링크 가능성 평가를 위해 리뷰 특성 분포 간 유사도를 측정하기 위해 쿨백-라이블러 발산(Kullback-Leibler divergence) 사용.
• 확률 추정에서 0 빈도 특성 문제를 해결하기 위해 라플라스 스무oothing(Laplace smoothing) 적용.
• 약 2,000명의 활동적인 Yelp 기여자로부터 100만 건이 넘는 리뷰로 구성된 대규모 데이터셋을 사용해 링크 가능성 평가.
• 각 기여자의 리뷰 집합을 단일 저자 프로필로 간주하고, 익명 리뷰를 정확한 프로필로 그룹화할 수 있는 능력 테스트.
• 정밀도, 재현율, F1 점수를 사용해 성능 평가하며, 저자당 익명 리뷰 수가 다양한 경우에 결과를 보고함.

실험 결과

연구 질문

• RQ1 기본적인 텍스트 특성만을 사용할 때 익명 리뷰가 얼마나 높은 수준으로 동일한 저자와 연결될 수 있는가?
• RQ2 기여자당 리뷰 수가 늘어남에 따라 리뷰의 연결 가능성은 어떻게 변화하는가?
• RQ3 나이브 베이즈 및 KL 발산과 같은 단순 모델이 텍스트만으로도 저자 식별에 높은 정확도를 달성할 수 있는가?
• RQ4 높은 연결 가능성은 다양한 리뷰 플랫폼에서 사용자 개인정보 보호에 어떤 영향을 미치는가?
• RQ5 이 방법을 활용해 리뷰 생태계에서 자기 리뷰 또는 스팸 행위를 탐지할 수 있는가?

주요 결과

• 익명 리뷰 중 최대 83퍼센트가 알파벳 문자 빈도 분포만을 사용해 원래 저자와 연결될 수 있다.
• 60건 이상의 리뷰를 작성한 기여자에 대해서는 연결 가능성 비율이 최대 99퍼센트에 이른다.
• 복잡한 언어학적 특성 없이도 단순한 특성만을 사용한 나이브 베이즈 모델이 높은 정밀도와 재현율을 기록하여 강력한 성능을 보였다.
• 연구 결과는 사용자가 글쓰기에서 일관된 식별 가능한 특성을 노출함으로써 리뷰 간에 매우 높은 연결 가능성을 보임을 확인했다.
• 안정적인 글쓰기 패턴 덕분에 다양한 리뷰 사이트 간 계정을 교차 확인하는 것이 매우 가능성이 높다는 점을 시사한다.
• 이 방법은 리뷰 플랫폼이 사용자에게 자신의 리뷰가 얼마나 개인정보 유출 위험이 있는지에 대한 피드백을 제공하는 데 활용될 수 있다.