[논문 리뷰] Exploring Twitter Hashtags

Jan Pöschko|arXiv (Cornell University)|2011. 11. 28.

Advanced Text Analysis Techniques참고 문헌 4인용 수 11

한 줄 요약

이 논문은 공동 발생 패턴, 품사 태깅, 지리적 지식을 활용하여 트위터 해시태그를 조직, 지리적 위치, 개인, 이벤트, 카테고리의 다섯 가지 직관적인 카테고리로 분류하는 기계학습 접근법을 제안한다. 주요 기여는 해시태그 공동 발생 사전과 분류기 출력을 탐색할 수 있는 인터랙티브 웹 애플리케이션인 TwitterExplorer로, 카테고리 분류에 대해 5-폴드 교차검증 F1-스코어가 0.55이며, 개인 분류에 대해 0.38이다.

ABSTRACT

Twitter messages often contain so-called hashtags to denote keywords related to them. Using a dataset of 29 million messages, I explore relations among these hashtags with respect to co-occurrences. Furthermore, I present an attempt to classify hashtags into five intuitive classes, using a machine-learning approach. The overall outcome is an interactive Web application to explore Twitter hashtags.

연구 동기 및 목표

• 공동 발생 패턴을 기반으로 한 의미 사전을 구축하여 트위터 해시태그의 모호함(예: #tcot, #p2)을 해결한다.
• 감독 기반 기계학습을 사용하여 조직, 지리적 위치, 개인, 이벤트, 카테고리의 다섯 가지 직관적인 의미 클래스로 해시태그를 분류한다.
• 해시태그 공동 발생 네트워크와 분류기 결과를 시각화하는 인터랙티브 웹 애플리케이션을 개발하여 대중의 탐색을 지원한다.
• 품사 태깅 및 지리적 이름 인식 기능의 기능 공학이 분류 성능 향상에 얼마나 기여하는지 평가한다.
• 향후 해시태그 이해 및 분류 향상을 위해 사회적 그래프 데이터와 시간적 패턴을 활용할 수 있는지 탐색한다.

제안 방법

• 트위터 해시태그 쌍 간의 공유 트윗 수를 계산하여 공동 발생 사전을 구축하고, 각 해시태그당 상위 10개의 공통 해시태그를 SQLite 데이터베이스에 저장한다.
• 최대 엔트로피(MaxEnt) 분류기를 사용하며, 품사 태그, Geonames에서 제공하는 지리적 이름 인식, 맥락적 단어 특징을 특징으로 사용한다.
• 계산 부담을 줄이기 위해 100개의 랜덤으로 샘플링된 트윗을 해시태그당 사용하여 5-폴드 교차검증을 수행한다.
• Django를 사용하여 웹 애플리케이션을 구현하고, AJAX를 활용해 분류 세부 정보를 동적으로 로딩하며, Prototype과 RGraph를 사용해 인터랙티브 UI 요소를 구현한다.
• 계층적 군집화를 사용해 해시태그 공동 발생 네트워크의 군집화된 그래프를 생성하여 의미적 근접성을 시각화한다.
• 토큰화 과정에서 해시태그, @-리플라이, URL, 이모티콘을 보존하기 위해 고유한 정규표현식을 사용해 트윗을 사전 처리한다.

실험 결과

연구 질문

• RQ1 해시태그의 공동 발생 패턴이 의미적으로 관련된 해시태그를 제안할 수 있는 신뢰할 수 있는 의미 사전을 형성할 수 있는가?
• RQ2 기계학습 분류기가 조직, 지리적 위치, 개인, 이벤트, 카테고리의 다섯 가지 의미 클래스를 효과적으로 구분할 수 있는가?
• RQ3 품사 태깅과 지리적 이름 인식이 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 공동 발생 데이터와 언어적 특징의 조합이 실제 트위터 데이터에서 효과적이고 확장 가능한 해시태그 분류를 가능하게 할 수 있는가?
• RQ5 해시태그 의미와 공동 발생 네트워크 탐색을 지원하기 위해 어떻게 인터랙티브 웹 인터페이스를 설계할 수 있는가?

주요 결과

• 공동 발생 사전은 공통적인 해시태그(예: #obama, #apple)에 대해 높은 정밀도로 의미적으로 관련된 해시태그를 성공적으로 검색했으며, #obama에 대해 #tcot, #gop와 같은 타당한 관련어를 제안했다.
• MaxEnt 분류기는 카테고리 분류에 대해 F1-스코어 0.55, 개인 분류에 대해 0.38, 지리적 위치 분류에 대해 0.59를 기록하여 중간 수준의 성능를 보였으며, 향상 여지가 있음을 시사했다.
• 이벤트 분류는 성능이 매우 열악하여 F1-스코어가 단지 0.08에 불과했으며, 현재 특징만으로는 이벤트 관련 해시태그를 탐지하는 데에는 부적합함을 시사했다.
• 지리적 이름 특징은 지리적 위치 분류에 있어 뚜렷한 기여를 하였으며, 혼동 행렬에서 39개의 지리적 위치 해시태그 중 23개가 정확히 분류되었다.
• 웹 애플리케이션인 TwitterExplorer는 해시태그 공동 발생 사전과 분류기 출력을 성공적으로 시각화하여, 해시태그와 그 맥락을 상호작용적으로 탐색할 수 있도록 했다.
• 분류기 성능은 1개 해시태그당 100개 트윗의 작은 학습 데이터셋과 이벤트 탐지에 부족한 기능 공학으로 인해 제한되었으며, 이는 향후 시간적 또는 사회적 네트워크 특징이 필요할 수 있음을 시사한다.