[논문 리뷰] Stance and Sentiment in Tweets

Saif M. Mohammad, Parinaz Sobhani외 1명|arXiv (Cornell University)|2016. 05. 05.

Sentiment Analysis and Opinion Mining참고 문헌 54인용 수 10

한 줄 요약

이 논문은 대상에 대한 입장과 감성 극성에 대해 주석이 달린 트윗의 첫 번째 데이터셋을 소개하며, 이들의 상호작용에 대한 체계적인 연구를 가능하게 한다. n-그램, 감성 어휘집, 단어 임베딩을 사용하는 단순한 입장 탐지 시스템을 제안하며, SemEval-2016 공동 과제에서 참가한 19개 팀 중 가장 높은 성능을 기록하여 F-스코어 70.3을 달성한다.

ABSTRACT

We can often detect from a person's utterances whether he/she is in favor of or against a given target entity -- their stance towards the target. However, a person may express the same stance towards a target by using negative or positive language. Here for the first time we present a dataset of tweet--target pairs annotated for both stance and sentiment. The targets may or may not be referred to in the tweets, and they may or may not be the target of opinion in the tweets. Partitions of this dataset were used as training and test sets in a SemEval-2016 shared task competition. We propose a simple stance detection system that outperforms submissions from all 19 teams that participated in the shared task. Additionally, access to both stance and sentiment annotations allows us to explore several research questions. We show that while knowing the sentiment expressed by a tweet is beneficial for stance classification, it alone is not sufficient. Finally, we use additional unlabeled data through distant supervision techniques and word embeddings to further improve stance classification.

연구 동기 및 목표

• 대상에 대한 입장과 감성 극성에 대해 주석이 달린 대규모 트윗 데이터셋을 구축하는 것.
• 의견이 관심의 대상과 다른 실체를 향해 표현될 때 소셜 미디어 텍스트에서 감성과 입장 간의 관계를 탐구하는 것.
• 대상이 명시적으로 언급되지 않은 경우에도 감성과 단어 임베딩을 활용한 강력한 입장 탐지 시스템을 개발하는 것.
• 감성 특징이 입장 탐지에 얼마나 효과적인지 평가하고, 단순히 감성 예측에 의존하는 데서 비롯되는 한계를 분석하는 것.
• 비표본 데이터를 활용한 원격 감독 기법을 통해 입장 분류 성능을 향상시키는 것.

제안 방법

• 아테이즘, 기후 변화, 페미니즘 운동, 힐러리 클린턴, 낙태 합법화 등 다섯 개의 대상에 대해 입장(지지, 반대, 중립)에 대해 4,000개 이상의 트윗을 주석 처리했다.
• 트윗에서 표현된 의견이 대상 또는 다른 실체를 향해 있는지에 대한 추가 주석을 수집했다.
• 각 트윗에 대해 독립적으로 감성 극성(긍정, 부정, 중립)을 할당했다.
• 단어 및 문자 n-그램, 감성 어휘집 특징, 그리고 원격 감독를 통해 비표본 데이터에서 유도된 단어 임베딩을 사용한 선형 커널 서포트 벡터 머신 분류기 학습.
• 외부 지식 소스를 활용하고 대규모 비표본 코퍼스에서 특징 학습을 향상시키기 위해 원격 감독를 적용했다.
• 주석 처리된 데이터셋에서 파생된 보류된 테스트 세트를 사용하여 SemEval-2016 공동 과제 벤치마크에서 시스템 성능을 평가했다.

실험 결과

연구 질문

• RQ1 트윗에서 의견의 대상이 입장의 대상과 다를 경우 감성과 입장은 어떻게 상호작용하는가?
• RQ2 감성 예측만 하는 것과 비교해 감성 특징이 입장 탐지 성능 향상에 얼마나 기여하는가?
• RQ3 새로운 주석이 필요 없이 한 대상에 대해 주석이 달린 데이터로 학습된 시스템이 동일 도메인의 다른 대상으로 일반화 가능한가?
• RQ4 단어 임베딩과 감성 어휘집을 활용한 원격 감독 기법이 입장 분류 성능 향상에 얼마나 효과적인가?
• RQ5 의견이 명시적으로 언급되지 않은 대상에 대해 인간의 추론 능력과 자동 시스템 간의 성능 격차는 어느 정도인가?

주요 결과

• 제안된 입장 탐지 시스템은 SemEval-2016 공동 과제에서 참가한 19개 팀 중 가장 높은 성능을 기록하여 F-스코어 70.3을 달성했다.
• 골드 표준 감성 및 의견 대상 주석이 제공된 경우에도 오라클 시스템은 F-스코어 59.6%에 그치며, 감성만으로는 정확한 입장 탐지에 부족하다는 것을 시사한다.
• 감성 특징은 감성 예측에 비해 입장 탐지에 덜 효과적이며, 입장 분류의 고유한 과제를 강조한다.
• 사람들은 의견이 다른 실체를 향해 표현되더라도 대상에 대한 입장은 추론할 수 있지만, 자동 시스템은 이러한 경우에 크게 어려움을 겪는다.
• 비표본 데이터에서 유도된 단어 임베딩과 원격 감독 기법의 통합이 입장 탐지 모델의 성능 향상에 크게 기여했다.
• 데이터셋은 관심 대상과 다른 실체를 향해 의견을 표현하는 트윗이 상당수 존재함을 드러내며, 실제 소셜 미디어 텍스트에서 입장 탐지의 복잡성을 강조한다.