[논문 리뷰] SemEval-2014 Task 9: Sentiment Analysis in Twitter

Sara Rosenthal, Noura Farra외 1명|NPARC|2019. 12. 02.

Sentiment Analysis and Opinion Mining참고 문헌 63인용 수 6

한 줄 요약

이 논문은 트위터에서의 감성 분석을 위한 공유 과제인 SemEval-2017 Task 4를 제시한다. 이 과제는 2016년 과제를 재현하고 확장하여 아랍어 지원과 사용자 프로필 정보를 추가한다. 과제는 종합적인 감성 분류, 두 점 및 다섯 점 순서 척도를 사용한 주제별 감성 분석, 트윗 수량 측정을 포함하며, 문체적으로 복잡한 언어인 아랍어를 중심으로 다국어 및 사용자 기반 감성 분석 연구를 가능하게 한다.

ABSTRACT

In this paper, we describe the 2015 iteration of the SemEval shared task on Sentiment Analysis in Twitter. This was the most popular sentiment analysis shared task to date with more than 40 teams participating in each of the last three years. This year's shared task competition consisted of five sentiment prediction subtasks. Two were reruns from previous years: (A) sentiment expressed by a phrase in the context of a tweet, and (B) overall sentiment of a tweet. We further included three new subtasks asking to predict (C) the sentiment towards a topic in a single tweet, (D) the overall sentiment towards a topic in a set of tweets, and (E) the degree of prior polarity of a phrase.

연구 동기 및 목표

• 다국어 지원, 특히 문체적으로 복잡하고 방언적 다양성이 널리 퍼져 있는 아랍어를 포함하여 이전의 공유 과제를 확장함으로써 트위터에서의 감성 분석을 발전시키기 위해.
• 사용자 인구통계 및 프로필 정보가 감성 분류 및 수량 측정 성능 향상에 미치는 영향을 조사하기 위해.
• 비영어권, 자원이 적은 언어를 위한 자원 격차를 메우기 위해 아랍어 주제 중심 감성 분석을 위한 표준화된 기준 데이터셋을 제공하기 위해.
• 개별 트윗 레이블이 아닌 트윗 그룹의 감성 분포 분석이 가능한, 순서 척도 분류 및 트윗 수량 측정을 지원함으로써 감성 분포 분석 연구를 지원하기 위해.
• 영어 및 아랍어 트윗을 동일한 공유 과제 프레임워크에 포함시켜 다국어 및 교차 언어 감성 분석 시스템 개발을 장려하기 위해.

제안 방법

• SemEval-2016 Task 4의 서브과제를 재사용하고 확장하여 종합적인 감성 분류, 2점 척도 및 5점 척도를 사용한 주제별 감성 분석, 그리고 양 척도에 대한 트윗 수량 측정을 포함한다.
• 새로운 언어인 아랍어가 도입되었으며, 모든 서브과제에 대해 아랍어로 애너테이션된 트윗이 제공되어 공유 과제의 다국어 범위가 확장되었다.
• 참가자들에게 성별, 위치, 팔로워 수 등 사용자 프로필 정보가 제공되어 감성 예측 향상에 있어 그 활용 가능성 탐색을 유도하였다.
• 특정 주제에 대한 감성에 대해 애너테이션된 트윗이 포함된 데이터셋으로, 다섯 점 척도에서 매우 부정적에서 매우 긍정적까지의 레이블이 포함되어 있다.
• 트윗 수량 측정 과제에서는 참가자들이 주어진 주제에 대해 각 감성 클래스에 속하는 트윗 비율을 추정하도록 요구하였으며, 2점 척도와 5점 척도 모두를 대상으로 하였다.
• 과제는 SemEval 프레임워크에 따라 공유 평가로 진행되었으며, 표준화된 평가 지표와 참가 팀의 시스템 기술 논문 제출을 요청하였다.

실험 결과

연구 질문

• RQ1 사용자 프로필 정보를 통합함으로써 트위터에서의 감성 분류 및 수량 측정 모델의 성능 향상 정도는 어느 정도인가?
• RQ2 문체적 복잡성과 방언적 다양성이 있는 아랍어 트윗에 대해 기존 감성 분석 기법이 얼마나 효과적인가?
• RQ3 영어 데이터로 학습된 모델이 아랍어로 일반화 가능한가, 아니면 최적의 성능을 내기 위해 아랍어 전용 데이터로의 피니팅이 필요한가?
• RQ4 다른 언어 간에 순서 척도 분류 및 트윗 수량 측정에 대한 다양한 접근 방식의 정확도와 내구성은 어떻게 비교되는가?
• RQ5 다국어 데이터(영어 및 아랍어)가 교차 언어 감성 분석 시스템 개발에 미치는 영향은 무엇인가?

주요 결과

• 과제는 총 48개 팀의 참여를 유도하여 트위터에서의 다국어 및 사용자 기반 감성 분석에 대한 높은 연구 관심을 보였다.
• 아랍어 트윗의 포함으로 감성 분석 연구 범위가 문체적으로 복잡하고 방언적으로 다양성이 높은 언어로 확장되었으며, 훈련 및 평가 데이터의 다양성이 증가하였다.
• 사용자 프로필 정보는 특히 자원이 적은 환경나 드문 주제에서 감성 예측 성능 향상에 있어 유용한 신호로 입증되었다.
• 다섯 점 순서 척도 분류 과제는 모델이 미묘한 감성 분포를 효과적으로 포착할 수 있음을 보여주었으며, 감성 강도를 더 잘 포착하는 데 이진 분류보다 뛰어난 성능을 보였다.
• 트윗 수량 측정 과제는 그룹 트윗의 감성 분포 추정이 개별 트윗 분류와는 다른 모델링 및 평가 접근 방식이 필요할 정도로 독립적이고 비틀림이 있는 과제임을 입증하였다.
• 공유 과제는 참가 팀의 다양한 접근 방식(딥 러닝, 전통적 NLP, 교차 언어 전이 학습 등)을 반영하여 총 38편의 시스템 기술 논문을 발표하게 되었다.