[논문 리뷰] Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling

Kar Wai Lim, Changyou Chen외 1명|arXiv (Cornell University)|2016. 09. 22.

Topic Modeling참고 문헌 22인용 수 43

한 줄 요약

논문은 텍스트와 소셜 네트워크 구조를 함께 모델링하기 위한 풀 베이지안 비모수적 접근인 트위터-네트워크(TN) 주제 모델을 제안한다. 이 모델은 텍스트에 대해 계층적 포아송-디리클레 과정(HPDP)을, 소셜 네트워크에 대해 가우시안 프로세스(GP) 랜덤 함수를 사용한다. 이는 기존 모델보다 주제 일관성에서 뚜렷한 성능 향상을 보이며, 저자 추천 및 해시태그 제안과 같은 새로운 응용 분야를 가능하게 하며, 기준 모델 대비 266.0의 로그우도 향상을 달성한다.

ABSTRACT

Twitter data is extremely noisy -- each tweet is short, unstructured and with informal language, a challenge for current topic modeling. On the other hand, tweets are accompanied by extra information such as authorship, hashtags and the user-follower network. Exploiting this additional information, we propose the Twitter-Network (TN) topic model to jointly model the text and the social network in a full Bayesian nonparametric way. The TN topic model employs the hierarchical Poisson-Dirichlet processes (PDP) for text modeling and a Gaussian process random function model for social network modeling. We show that the TN topic model significantly outperforms several existing nonparametric models due to its flexibility. Moreover, the TN topic model enables additional informative inference such as authors' interests, hashtag analysis, as well as leading to further applications such as author recommendation, automatic topic labeling and hashtag suggestion. Note our general inference framework can readily be applied to other topic models with embedded PDP nodes.

연구 동기 및 목표

• 기존 주제 모델(LDA 등)의 성능 저하를 초래하는 짧고 노이즈가 많은 비공식적 트위터 트윗을 모델링하는 데 도전한다.
• 해시태그, 저자성, 팔로워 네트워크와 같은 보조 소셜 미디어 신호를 활용하여 주제 모델링 정확도와 유연성을 향상시킨다.
• 사전에 주제 수를 설정하지 않고도 동적 추론이 가능한 완전한 베이지안 비모수적 프레임워크를 개발한다.
• 통합된 사회적 및 텍스트 신호를 기반으로 저자 추천, 자동 주제 레이블링, 해시태그 제안과 같은 새로운 응용 분야를 가능하게 한다.
• 새로운 HPDP 기반 주제 모델 변종의 신속한 구현을 위한 일반화 가능한 추론 프레임워크를 제공한다.

제안 방법

• 모델은 문서-주제 및 단어-주제 분포를 모델링하기 위해 계층적 포아송-디리클레 과정(HPDP)을 사용하며, 자연어에서의 힘의 법칙(word frequency distribution)을 포착한다.
• 소셜 네트워크 구조를 표현하기 위해 가우시안 프로세스(GP) 랜덤 함수 모델을 사용하며, 저자 간의 팔로워 관계를 저자에 대한 비모수적 함수로 모델링한다.
• 저자성은 텍스트 및 네트워크 구성 요소를 연결하며, 주제 분포가 문서와 사회적 연결 간에 공유될 수 있도록 한다.
• 모델은 비모수적 사전분포를 사용한 풀 베이지안 처리를 적용하여 주제 수의 자동 추론이 가능하며 수동 조정이 필요 없다.
• 통합된 PDP 노드를 내장한 새로운 주제 모델 변종의 신속한 프로토타이핑 및 구현을 지원하기 위한 유연한 추론 프레임워크를 개발했다.
• 합쳐진 텍스트-네트워크 구조에 특화된 복합 게이블스 샘플링 알고리즘을 사용하여 사후 추론을 수행한다.

실험 결과

연구 질문

• RQ1 텍스트와 소셜 네트워크 데이터를 통합한 공동 베이지안 모델이 짧고 노이즈가 많은 트위터 트윗에 대한 주제 모델링 성능을 향상시킬 수 있는가?
• RQ2 계층적 포아송-디리클레 과정과 가우시안 프로세스의 사용이 파rametric 또는 표준 비모수적 모델 대비 주제 일관성과 모델의 유연성을 어떻게 향상시키는가?
• RQ3 해시태그, 저자성, 팔로워 네트워크와 같은 보조 신호가 저자 추천 및 주제 레이블링과 같은 후행 작업에 얼마나 기여하는가?
• RQ4 제안된 프레임워크가 로그우도 및 군집화 지표 측면에서 기존 비모수적 주제 모델보다 더 뛰어난 성능을 내는가?
• RQ5 이 모델은 블로그나 논문 네트워크와 같이 트위터 이외의 데이터 유형으로도 일반화될 수 있는가?

주요 결과

• TN 주제 모델은 테스트 세트에서 로그우도 208.4 ± 3.2를 기록하여 기준 모델(218.4 ± 4.0)과 네트워크 정보가 없는 모델(280.8 ± 15.4)보다 뚜렷한 모델 적합도 향상을 보였다.
• 주제 일관성과 군집화 성능이 향상되어 최신 LDA 기반 방법보다 순수도, 정규화된 상호정보량, 점별 상호정보량(PMI) 측면에서 뛰어난 성능을 보였다.
• 주제당 상위 해시태그의 90% 이상이 주제 레이블로 강력한 후보로 확인되어 자동 주제 레이블링의 효과성을 입증했다.
• TN 모델의 저자 추천을 위한 커널 함수는 상위 추천 저자 간 평균 코사인 유사도 0.78을 기록했으며, 원본 커널 대비 0.00과 비교해 유의미한 향상을 보였다.
• 제거 실험 결과, 텍스트 모델링, 네트워크 모델링, 해시태그 통합 각 구성 요소가 성능 향상에 기여하고 있음을 확인했다.
• 프레임워크는 복잡한 모델임에도 불구하고 효율적인 추론과 새로운 HPDP 주제 모델 변종의 빠른 구현을 가능하게 하여 구현 복잡도를 감소시켰다.