[논문 리뷰] Emotion Analysis Platform on Chinese Microblog

Duyu Tang, Bing Qin외 2명|arXiv (Cornell University)|2014. 03. 28.

Sentiment Analysis and Opinion Mining참고 문헌 13인용 수 4

한 줄 요약

이 논문은 중국 웨이보 마이크로블로그를 위한 정서 분석 플랫폼(EAP)을 제안하여 중국 각 성에서 실시간 정서 추세를 모니터링한다. 이모티콘, 정서 어휘사전, 정서 이동 규칙을 조합함으로써 EAP는 정서 분류에서 80%의 매크로 정밀도를 달성하였으며, 사천 지진 사례 연구와 수작업 주석 실험을 통해 검증되었다.

ABSTRACT

Weibo, as the largest social media service in China, has billions of messages generated every day. The huge number of messages contain rich sentimental information. In order to analyze the emotional changes in accordance with time and space, this paper presents an Emotion Analysis Platform (EAP), which explores the emotional distribution of each province, so that can monitor the global pulse of each province in China. The massive data of Weibo and the real-time requirements make the building of EAP challenging. In order to solve the above problems, emoticons, emotion lexicon and emotion-shifting rules are adopted in EAP to analyze the emotion of each tweet. In order to verify the effectiveness of the platform, case study on the Sichuan earthquake is done, and the analysis result of the platform accords with the fact. In order to analyze from quantity, we manually annotate a test set and conduct experiment on it. The experimental results show that the macro-Precision of EAP reaches 80% and the EAP works effectively.

연구 동기 및 목표

• 대규모 실시간 웨이보 데이터를 활용해 지리적 지역별 정서 추세를 분석하는 데 도전하는 것.
• 하루 수십억 건의 웨이보 메시지를 낮은 지연 시간으로 처리할 수 있는 확장 가능한 플랫폼을 개발하는 것.
• 마이크로블로깅 데이터를 활용해 중국 내 공적 정서의 시공간적 모니터링을 가능하게 하는 것.
• 실제 사례 연구와 수작업 평가를 통해 플랫폼의 효과성을 검증하는 것.

제안 방법

• 플랫폼은 웨이보 메시지에서 직접적인 정서 지표로 이모티콘을 활용한다.
• 사용자 정의 정서 어휘사전을 통합하여 단어 및 어구에 정서 점수를 할당한다.
• 부정이나 강조어와 같은 맥락에 따라 정서가 변화하는 경우를 다루기 위해 정서 이동 규칙을 적용한다.
• 시스템은 실시간으로 트윗을 처리하여 지리적 성 단위로 정서 데이터를 집계한다.
• 정밀도, 재현율, F1 점수 지표를 사용해 성능을 평가하기 위해 수작업 테스트 세트를 주석 처리한다.
• 시간적·공간적 정서 역학을 평가하기 위해 사천 지진 사례 연구를 통해 플랫폼을 평가한다.

실험 결과

연구 질문

• RQ1 웨이보 데이터를 활용해 중국의 다양한 성에서 실시간 정서 추세를 효과적으로 모니터링하는 방법은 무엇인가?
• RQ2 어떤 언어적 신호 조합(이모티콘, 어휘사전, 규칙)이 중국 마이크로블로그에서 최적의 정서 분류를 이끌어내는가?
• RQ3 자연재해와 같은 대규모 사건 기간 동안 플랫폼이 실제 세계의 정서 반응을 어느 정도 반영하는가?
• RQ4 수작업 주석 테스트 세트에서 정서 분류 시스템의 정확도는 어느 정도인가?

주요 결과

• 정서 분석 플랫폼은 수작업 주석 테스트 세트에서 매크로 정밀도 80%를 달성하여 강력한 분류 성능를 입증하였다.
• 플랫폼은 사천 지진 기간 동안 실시간 정서 변화를 성공적으로 포착하여 실제 대중 정서와 일치하였다.
• 성별 간 정서 분포는 뚜렷한 지역적 패턴을 보이며, 공적 분위기의 지리공간적 모니터링을 가능하게 하였다.
• 이모티콘, 정서 어휘사전, 이동 규칙의 통합은 기준 방법에 비해 정서 탐지 정확도를 크게 향상시켰다.
• 시스템은 대규모 웨이보 데이터 스트림에서 확장성과 실시간 처리 능력을 입증하였다.
• 사례 연구를 통해 플랫폼이 대규모 사회적 사건 기간 동안 사실적인 정서 반응을 반영할 수 있음을 확인하였다.