[논문 리뷰] NRC-Canada: Building the State-of-the-Art in Sentiment Analysis of Tweets

Saif M. Mohammad, Svetlana Kiritchenko외 1명|arXiv (Cornell University)|2013. 08. 28.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 460

한 줄 요약

이 논문은 트윗과 SMS에 대한 두 가지 최신 기술 기반의 SVM 기반 감성 분류기를 제시한다: 메시지 수준 감성(정밀도-재현율 점수 69.02)과 용어 수준 감성(정밀도-재현율 점수 88.93)을 각각 분류하며, SemEval-2013 경연 대회에서 모두 1위를 기록했다. 이 시스템은 해시태그와 이모티콘에서 자동으로 생성된 감성 어휘집을 활용하며, 표면형태, 의미적, n-gram 특징까지 포함한다. 특히 어휘집 특징이 메시지 수준 작업에서 5점 이상의 정밀도-재현율 점수 향상에 기여하였다.

ABSTRACT

In this paper, we describe how we created two state-of-the-art SVM classifiers, one to detect the sentiment of messages such as tweets and SMS (message-level task) and one to detect the sentiment of a term within a submissions stood first in both tasks on tweets, obtaining an F-score of 69.02 in the message-level task and 88.93 in the term-level task. We implemented a variety of surface-form, semantic, and sentiment features. with sentiment-word hashtags, and one from tweets with emoticons. In the message-level task, the lexicon-based features provided a gain of 5 F-score points over all others. Both of our systems can be replicated us available resources.

연구 동기 및 목표

• 트윗과 SMS 메시지와 같은 짧은 텍스트에 대해 고정확도 감성 분류기를 개발하기 위해.
• 사용자 생성 콘텐츠에서 유도된 자동 생성 감성 어휘집을 활용하여 소셜 미디어 데이터의 감성 분석 성능을 향상시키기 위해.
• 표면형태, 의미적, n-gram, 감성 어휘집 등의 다양한 특징 유형이 메시지 수준 및 용어 수준 감성 분류에서 어떻게 기여하는지 평가하기 위해.
• 모든 모델과 어휘집을 자유롭게 이용 가능한 자원으로 공개하여 재현 가능성을 확보하기 위해.
• 메시지 수준 및 용어 수준 하위 과제에서 모두 SemEval-2013 Task 2: Sentiment Analysis in Twitter 경연에서 최고 성능을 달성하기 위해.

제안 방법

• 감성어를 포함한 해시태그가 붙은 트윗을 이용해 대규모 감성 어휘집을 구축함(NRC Hashtag Sentiment Lexicon), 감성은 해시태그로 표시된 감정어에서 유추함.
• 이모티콘을 포함한 트윗을 이용해 두 번째 어휘집을 구축함. 이 경우 이모티콘을 주변 텍스트의 감성 지표로 간주함.
• 다양한 특징을 사용한 서포트 벡터 머신(SVM) 분류기를 적용함: 단어형, 문자 n-gram, 어절 n-gram, 감성 어휘집 점수, 否정어 처리, 텍스트 정규화(예: 반복된 문자나 구두점 처리).
• 해시태그와 이모티콘에서 파생된 감성 레이블과 단어 간의 점별 상호정보량(Pointwise Mutual Information, PMI)을 사용해 감성 연관 점수를 계산함: $score(w) = PMI(w,positive) - PMI(w,negative)$.
• 학습 및 개발 데이터를 통합해 모델을 훈련한 후, 트윗과 SMS에 대해 테스트 세트를 사용해 평가함. SMS에 대해서는 추가 튜닝 없이 평가함.
• 각 특징 그룹의 기여도를 분리하기 위해 추론 실험(ablation studies)를 수행함. 특히 대상 단어 또는 그 맥락의 특징을 별도로 제거함.

실험 결과

연구 질문

• RQ1 해시태그와 이모티콘에서 자동 생성된 감성 어휘집이 트윗의 감성 분류 성능 향상에 얼마나 효과적인가?
• RQ2 표면형태, 의미적, n-gram 특징의 조합 중에서 어떤 조합이 짧은 텍스트의 메시지 수준 및 용어 수준 감성 분석에서 가장 높은 성능을 낼 수 있는가?
• RQ3 메시지 수준 감성 분류 과제에서 감성 어휘집 특징이 다른 특징 유형보다 얼마나 뛰어나게 기여하는가?
• RQ4 훈련된 모델이 재학습이나 튜닝 없이도 새로운 데이터(예: SMS 메시지)에 얼마나 일반화 가능한가?
• RQ5 용어 수준 감성 분류에서 대상 단어 특징과 맥락 특징의 상대적 기여도는 어떠한가?

주요 결과

• NRC-캐나다 시스템은 트윗의 메시지 수준 감성 분석 과제에서 정밀도-재현율 점수 69.02를 기록하여 34개 팀 중 1위를 차지함.
• 용어 수준 과제에서는 트윗에서 정밀도-재현율 점수 88.93을 기록해 23개 팀 중 1위를 기록했으며, 대회 후 버그 수정으로 89.10으로 향상됨.
• 자동 생성된 해시태그 기반 감성 어휘집만으로도 메시지 수준 과제에서 5점 이상의 정밀도-재현율 점수 향상을 기록했으며, 다른 특징 유형보다 뚜렷이 뛰어난 성능을 보임.
• 용어 수준 분류기는 SMS 메시지에서 정밀도-재현율 점수 88.00(2위)를 기록했으며, SMS 데이터에 대한 튜닝 없이도 강력한 제로샷 일반화 성능을 보임.
• n-gram 특징(어절 및 문자 n-gram 포함)이 가장 영향력 있었으며, 제거 시 트윗에서 정밀도-재현율 점수 5.24점 감소, SMS에서는 7.85점 감소함.
• 감성 어휘집 특징은 두 번째로 중요한 특징이었으며, 제거 시 트윗에서 정밀도-재현율 점수 3.95점 감소, SMS에서는 4.64점 감소함. 이는 감성 어휘집 특징이 정확도 향상에 결정적인 역할을 한다는 것을 시사함.