[논문 리뷰] Polarized User and Topic Tracking in Twitter

Mauro Coletto, Claudio Lucchese외 2명|arXiv (Cornell University)|2016. 10. 27.

Complex Network Analysis Techniques참고 문헌 9인용 수 10

한 줄 요약

이 논문은 초기 시드 해시태그를 활용하여 트위터 스트림에서 극화된 사용자를 식별하고 구분되는 해시태그를 발견하는 반복적 알고리즘인 PTR(Polarization TRacker)를 제안한다. 두 번의 반복 후 k-means 기준보다 최대 71% 높은 F-측도를 달성하며 안정적인 성능과 높은 재현율(85.3% on IT13)을 보여, 정치적 사건 기간 동안 극화된 커뮤니티와 주제를 효과적으로 추적할 수 있다.

ABSTRACT

Digital traces of conversations in micro-blogging platforms and OSNs provide information about user opinion with a high degree of resolution. These information sources can be exploited to under- stand and monitor collective behaviors. In this work, we focus on polarization classes, i.e., those topics that require the user to side exclusively with one position. The proposed method provides an iterative classification of users and keywords: first, polarized users are identified, then polarized keywords are discovered by monitoring the activities of previously classified users. This method thus allows tracking users and topics over time. We report several experiments conducted on two Twitter datasets during political election time-frames. We measure the user classification accuracy on a golden set of users, and analyze the relevance of the extracted keywords for the ongoing political discussion.

연구 동기 및 목표

• 사용자가 몇 가지 사전 정의된 위치 중 하나에만 소속되어야 하는 소셜 미디어 스트림에서 극화된 사용자를 식별하기 위해.
• 각 극화 클래스를 특징짓는 가장 관련성 있고 구분력 있는 해시태그를 발견하기 위해.
• 동적인 소셜 미디어 환경에서 사용자 커뮤니티와 변화하는 토론 주제를 지속적으로 추적할 수 있도록 하기 위해.
• 황금 기준 레이블이 부여된 사용자 집합을 기반으로 실제 트위터 데이터셋에서 정치적 선거 기간 동안 방법을 평가하기 위해.

제안 방법

• PTR 알고리즘은 각 극화 클래스당 하나의 시드 해시태그로 시작하여, 이러한 해시태그를 자주 사용하는 사용자를 반복적으로 식별한다.
• 각 반복에서 극화된 것으로 분류된 사용자의 트윗에서 새로운 더 구분력 있는 해시태그를 추출한다.
• 발견된 해시태그의 변화하는 집합을 바탕으로 각 반복에서 사용자 분류를 업데이트하여 정밀도와 재현율을 향상시킨다.
• 시간적 변형인 TPTR는 데이터를 일일 단위로 처리하여 사용자 재분류 및 해시태그 업데이트를 통해 개념 이동과 새로운 트렌드에 적응한다.
• 최소한의 초기 감독만 필요하며, 클래스 수와 각 클래스당 하나의 키워드만 요구하는 반감독 클러스터링 접근 방식으로 작동한다.
• 분류 품질 평가를 위해 F-측도, 정밀도, 재현율, 커버리지(γ)를 사용하여 황금 기준 레이블 사용자 집합과 비교한다.

실험 결과

연구 질문

• RQ1 최소한의 초기 지식(예: 클래스당 하나의 키워드)만 있을 때 트위터 스트림에서 극화된 사용자를 효과적으로 식별할 수 있는가?
• RQ2 반복적 해시태그 발견이 극화된 커뮤니티 내 사용자 분류의 정확도와 커버리지에 어떤 영향을 미치는가?
• RQ3 동적인 소셜 미디어 환경에서 사용자 커뮤니티와 토론 주제의 변화를 얼마나 잘 추적할 수 있는가?
• RQ4 해시태그의 반복적 정밀화가 극화된 사용자 클러스터 내 관련 주제 탐지에 얼마나 기여하는가?

주요 결과

• PTR 알고리즘은 네 번의 반복 후 IT13 데이터셋에서 F-측도 0.588, EU14 데이터셋에서 0.662를 기록하여 k-means 기준보다 뚜렷한 향상을 보였다.
• 두 번째 반복 후 IT13에서 84.5% 커버리지(γ), EU14에서 83.0% 커버리지(γ)를 확보했으며, k-means 대비 F-측도 향상률은 각각 +71%와 +7%였다.
• 두 번째 반복에서 성능 향상이 가장 컸으며, 새로운 더 구분력 있는 해시태그 발견으로 인해 재현율이 크게 증가했다.
• TPTR 변형은 IT13에서 첫 번째 날 F-측도 0.177에서 아홉 번째 날 0.391로, EU14에서는 0.155에서 0.635로 점진적인 향상을 보여 시간이 지남에 따라 분류 정확도가 향상됨을 반영했다.
• 알고리즘은 뚜렷한 정치인, 정당 이름, 정치적 슬로건과 같은 의미 있는 키워드를 성공적으로 추출하여 발견된 주제의 관련성을 확인했다.
• 알고리즘이 빠르게 안정화되었으며, 두 번째 반복 이후 성능 향상이 거의 없었고, 이는 두 번의 반복만으로도 고품질 분류가 가능함을 시사한다.