[논문 리뷰] Mining Anonymity: Identifying Sensitive Accounts on Twitter

Sai Teja Peddinti, Keith W. Ross외 1명|arXiv (Cornell University)|2017. 02. 01.

Spam and Phishing Detection참고 문헌 23인용 수 6

한 줄 요약

이 논문은 키워드 기반 탐지에 의존하지 않고, 팔로워 익명성 패턴을 분석함으로써 민감한 트위터 계정을 객관적이고 확장 가능한 방법으로 식별하는 방법을 제안한다. 기계학습 분류기를 통해 익명인 팔로워와 식별 가능한 팔로워를 구분하도록 훈련시킨 후, 높은 비율의 익명 팔로워를 보이는 계정을 민감한 계정으로 식별한다. 이 방법은 LDA 토픽 모델링과 인간 평가를 통해 검증되었으며, 우울증이나 래그비티 커뮤니티와 같은 사회적 낙인을 받는 주제를 다루는 계정들을 성공적으로 식별하였다.

ABSTRACT

We explore the feasibility of automatically finding accounts that publish sensitive content on Twitter. One natural approach to this problem is to first create a list of sensitive keywords, and then identify Twitter accounts that use these words in their tweets. But such an approach may overlook sensitive accounts that are not covered by the subjective choice of keywords. In this paper, we instead explore finding sensitive accounts by examining the percentage of anonymous and identifiable followers the accounts have. This approach is motivated by an earlier study showing that sensitive accounts typically have a large percentage of anonymous followers and a small percentage of identifiable followers. To this end, we first considered the problem of automatically determining if a Twitter account is anonymous or identifiable. We find that simple techniques, such as checking for name-list membership, perform poorly. We designed a machine learning classifier that classifies accounts as anonymous or identifiable. We then classified an account as sensitive based on the percentages of anonymous and identifiable followers the account has. We applied our approach to approximately 100,000 accounts with 404 million active followers. The approach uncovered accounts that were sensitive for a diverse number of reasons. These accounts span across varied themes, including those that are not commonly proposed as sensitive or those that relate to socially stigmatized topics. To validate our approach, we applied Latent Dirichlet Allocation (LDA) topic analysis to the tweets in the detected sensitive and non-sensitive accounts. LDA showed that the sensitive and non-sensitive accounts obtained from the methodology are tweeting about distinctly different topics. Our results show that it is indeed possible to objectively identify sensitive accounts at the scale of Twitter.

연구 동기 및 목표

• 키워드 기반 탐지의 주관성을 피하면서도 객관적이고 확장 가능한 민감한 트위터 계정 식별 방법을 개발하는 것.
• 특히 익명 팔로워와 식별 가능한 팔로워의 비율과 같은 팔로워 익명성 패턴이 콘텐츠 민감도의 신뢰할 수 있는 대체 지표가 될 수 있는지 조사하는 것.
• 주제 모델링(LDA)과 인간 평가를 통해 결과를 검증하여, 식별된 계정이 실제로 민감한 주제를 다루고 있음을 확인하는 것.
• 기존의 키워드 목록으로 쉽게 포괄되지 않는 다양한 사회적 낙인을 받는 주제에 대해서도 이 방법이 일반화될 수 있음을 보여주는 것.

제안 방법

• 사용자명, 자기소개, 메타데이터와 같은 프로필 특징을 기반으로 트위터 계정이 익명인지 식별 가능한지 자동으로 판단할 수 있도록 기계학습 분류기를 훈련시키는 것.
• 각 대상 계정에 대해 익명 팔로워와 식별 가능한 팔로워의 비율을 계산하는 것.
• 높은 비율의 익명 팔로워와 낮은 비율의 식별 가능한 팔로워를 가진 계정을 민감한 계정으로 분류하는 것.
• 약 100,000개의 계정과 4억 400만 명의 활성 팔로워를 포함한 대규모 트위터 크롤링 데이터에 이 방법을 적용하는 것.
• 2,000개의 민감한 계정과 비민감 계정의 서브셋에 대해 잠재적 디리히레트 할당(LDA) 주제 모델링을 적용하여 결과를 검증하는 것.
• 자동 분류와 인간 판단 간의 일치도를 평가하기 위해 200개의 계정에 대해 인간 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 팔로워 익명성 패턴은 트위터에서 민감한 콘텐츠를 객관적이고 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ2 제안된 방법은 전통적인 키워드 기반 접근 방식으로는 포괄되지 않는 민감한 주제에도 일반화될 수 있는가?
• RQ3 익명성 패턴에 기반한 자동 분류 결과가 인간의 콘텐츠 민감도 판단과 얼마나 잘 일치하는가?
• RQ4 이 방법으로 식별된 민감한 계정은 비민감 계정과 비교해 특수한 주제적 테마를 다루는가?

주요 결과

• LDA 주제 분석 결과, 이 방법으로 식별된 민감한 계정은 비민감 계정과는 뚜렷이 다른 주제를 다루고 있음을 확인하여 주제적 차별성이 입증되었다.
• 인간 평가자들은 자동 분류 결과와 높은 일치도를 보였으며, 대부분의 민감한 계정이 우울증, 래그비티 문제, 포르노그래피 등과 같은 주제를 바탕으로 정확하게 식별되었다.
• 이 방법은 키워드 기반 시스템이 자주 간과하는 사회적 낙인을 받는 주제를 다루는 계정들을 성공적으로 식별하였다.
• 이 방법은 전체 트위터 생태계에 대해 효과적으로 확장 가능하며, 언어별 키워드에 의존하지 않고 약 100,000개의 계정과 4억 400만 명의 팔로워를 처리할 수 있었다.
• 높은 비율의 익명 팔로워를 가진 계정은 항상 민감한 콘텐츠와 관련되어 있었으며, 이는 본 연구의 核심 가정을 검증하는 데 기여했다.
• 본 연구는 팔로워 익명성 패턴이 다양한 복잡한 주제에 걸쳐 민감도의 강력하고 확장 가능한 대체 지표가 될 수 있음을 입증하였다.