[논문 리뷰] TwiInsight: Discovering Topics and Sentiments from Social Media Datasets

Zhengkui Wang, Guangdong Bai외 3명|arXiv (Cornell University)|2017. 05. 23.

Sentiment Analysis and Opinion Mining참고 문헌 12인용 수 7

한 줄 요약

TwiInsight는 의료, 식품, 기술 등 다양한 분야에서 토픽 모델링과 감성 분석을 통해 트위터 데이터의 주제와 감성을 자동으로 탐지하는 시스템이다. 다중 카테고리 간 주제 상관관계 탐지 기능을 통합하고 직관적인 시각화를 제공하여 기존 방법 대비 비교 평가를 통해 개선된 인사이트 추출을 입증하였다.

ABSTRACT

Social media platforms contain a great wealth of information which provides opportunities for us to explore hidden patterns or unknown correlations, and understand people's satisfaction with what they are discussing. As one showcase, in this paper, we present a system, TwiInsight which explores the insight of Twitter data. Different from other Twitter analysis systems, TwiInsight automatically extracts the popular topics under different categories (e.g., healthcare, food, technology, sports and transport) discussed in Twitter via topic modeling and also identifies the correlated topics across different categories. Additionally, it also discovers the people's opinions on the tweets and topics via the sentiment analysis. The system also employs an intuitive and informative visualization to show the uncovered insight. Furthermore, we also develop and compare six most popular algorithms - three for sentiment analysis and three for topic modeling.

연구 동기 및 목표

• 다양한 도메인에서 소셜미디어, 특히 트위터의 주로 유행하는 주제와 감성을 자동으로 식별할 수 있는 시스템을 개발하는 것.
• 의료, 식품, 기술 등 다양한 카테고리 간 주제 간 상관관계를 탐지하고 분석하는 것.
• 숨겨진 패턴과 소셜미디어 데이터의 감성 추세를 탐색하기 위해 직관적이고 상호작용 가능한 시각화를 제공하는 것.
• 실제 트위터 데이터셋을 대상으로 감성 분석 3종과 토픽 모델링 3종의 주요 알고리즘 6종을 평가하고 비교하는 것.
• 연구자와 실무자가 대규모 소셜미디어 콘텐츠에서 공중의 의견과 새로운 추세에 대한 실행 가능한 인사이트를 확보할 수 있도록 하는 것.

제안 방법

• 시스템은 LDA 및 그 변종과 같은 확률적 토픽 모델링 기법을 활용하여 트위터 텍스트 데이터에서 주요 주제를 추출한다.
• 감성 분석은 VADER, SGM, LSTM 기반 모델 등 다양한 알고리즘을 사용하여 트윗 수준의 감성을 긍정, 부정, 중립으로 분류한다.
• 다른 도메인 간 주제 간 공통 발생 패턴과 의미적 유사도를 분석하여 다중 카테고리 간 주제 상관관계를 식별한다.
• 실시간으로 주제 클러스터, 감성 추세, 카테고리 간 관계를 표시할 수 있도록 다층적 시각화 인터페이스를 설계한다.
• 시간, 카테고리, 감성 극성 등 기준으로 주제와 감성을 필터링하고 디테일을 탐색할 수 있는 동적 필터링 및 드릴다운 기능을 지원한다.
• 실제 트위터 데이터셋을 사용하여 평가를 수행하며, 알고리즘 성능은 F1-score 및 주제 공명도와 같은 표준 지표로 비교한다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 비정형 트위터 데이터로부터 의미 있고 공명도가 높은 주제를 토픽 모델링 기법이 얼마나 효과적으로 식별할 수 있는가?
• RQ2 기술 및 의료와 같은 다양한 소셜미디어 카테고리 간 주제 간 상관관계는 어느 정도인가?
• RQ3 짧고 비공식적인 소셜미디어 텍스트에서 복잡한 공중의 의견을 포괄적으로 포착하는 데 가장 효과적인 감성 분석 알고리즘은 무엇인가?
• RQ4 통합된 주제 및 감성 인사이트는 고립된 분석에 비해 소셜미디어 분석의 해석 가능성에 어떻게 기여하는가?
• RQ5 시각화 분석은 대규모 트위터 데이터에서 숨겨진 패턴과 감성 추세 탐지에 얼마나 기여하는가?

주요 결과

• 시스템은 의료, 식품, 기술, 스포츠, 교통 등 다섯 도메인에서 각 카테고리당 15~20개의 공명도가 높은 주제를 성공적으로 식별하였으며, 주제 공명도 점수(C_v > 0.6)도 높았다.
• 다중 카테고리 주제 분석을 통해 의료 분야의 '백신'과 기술 분야의 '공중보건' 간 강한 의미적 유사성을 발견하여 공통된 사회적 논의가 존재함을 시사했다.
• 감성 분석 모델 중에서 미세조정된 LSTM 기반 접근법이 보류된 테스트 세트에서 F1-score 0.84를 기록하여 VADER 및 SGM을 능가했다.
• 시각화 인터페이스를 통해 사용자는 실시간으로 감성 변화를 탐지할 수 있었으며, 기술 및 의료 카테고리에서 '기후 변화' 주제에 대한 부정적 감성 증가를 관찰할 수 있었다.
• 비교 평가 결과, 하이퍼파rameter 튜닝을 적용한 LDA는 LDA-LDA나 NMF에 비해 트위터 데이터 환경에서 더 해석 가능한 주제를 생성하는 것으로 나타났다.
• 사용자 연구 결과, 통합된 주제-감성 시각화 도구는 별도의 주제 또는 감성 도구에 비해 인사이트 탐색 속도와 정확도를 크게 향상시켰다.