[논문 리뷰] ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets

Ramy Baly, Alaa Khaddaj외 3명|arXiv (Cornell University)|2019. 05. 25.

Sentiment Analysis and Opinion Mining참고 문헌 40인용 수 36

한 줄 요약

ArSenTD-LEV를 소개하는, 전체 감정, 감정 대상, 표현 모드, 주제로 주석된 4,000개 트윗의 레반틴어 감정 코퍼스; 주제와 표현 주석이 기본 감정 분류를 개선하고 교차 주제 도메인 도전에 주목함.

ABSTRACT

Sentiment analysis is a highly subjective and challenging task. Its complexity further increases when applied to the Arabic language, mainly because of the large variety of dialects that are unstandardized and widely used in the Web, especially in social media. While many datasets have been released to train sentiment classifiers in Arabic, most of these datasets contain shallow annotation, only marking the sentiment of the text unit, as a word, a sentence or a document. In this paper, we present the Arabic Sentiment Twitter Dataset for the Levantine dialect (ArSenTD-LEV). Based on findings from analyzing tweets from the Levant region, we created a dataset of 4,000 tweets with the following annotations: the overall sentiment of the tweet, the target to which the sentiment was expressed, how the sentiment was expressed, and the topic of the tweet. Results confirm the importance of these annotations at improving the performance of a baseline sentiment classifier. They also confirm the gap of training in a certain domain, and testing in another domain.

연구 동기 및 목표

• 다중 주석이 달린 Twitter 코퍼스를 도입하여 아랍어 레반틴 방언의 감정 분석에 대한 자원을 제공한다.
• 주제, 감정 대상, 표현 모드가 감정 분류 성능에 미치는 영향을 탐구한다.
• 아랍어 방언의 감정 모델에 대한 교차 주제 및 교차 도메인 효과를 평가한다.

제안 방법

• 45k에서 수집한 트윗 중에서 요약: 4,000개의 레반틴 트윗(요르단, 레바논, 팔레스타인, 시리아)을 선별한다.
• 감정 전체(5점 척도), 감정 대상, 명시적/암시적 표현, 그리고 주제에 대한 주석을 크라우드소싱한다.
• 주제(정치, 종교, 스포츠, 개인)를 사전에 정의하고 샘플링을 안내하기 위한 주제별 키워드 목록을 수집한다.
• 동률을 처리하기 위해 주석자의 신뢰 점수를 포함한 다수결 방식으로 주석을 집계한다; 주석자 간의 최장 공통 부분 문자열을 통해 대상(target)을 도출한다.
• 주제(주제별), 감정, 표현 등 작업 간의 인터-주석자 일치도 지표로 주석 품질을 평가한다.
• TF-IDF 일- 및 이-그램을 사용하여 기본 감정 분류기를 훈련시키고 일반 모델과 주제 의식 모델을 비교하며 주제 및 표현 특징 포함의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 감정 대상과 주제를 주석화하는 것이 레반틴 트윗의 대상 기반 감정 분류를 향상시키는가?
• RQ2 주제 정보가 교차 주제 vs. 같은 주제 감정 모델 성능에 어떤 영향을 미치는가?
• RQ3 명시적 표현과 암시적 표현의 감정이 분류기 정확도에 미치는 영향은 무엇인가?
• RQ4 주제-의식적 및 표현-의식적 특징이 레반틴 감정 분석에서 도메인 및 방언 차이를 완화할 수 있는가?

주요 결과

• 대상, 주제, 표현을 주석화하는 것이 기본 정확도와 Macro-F1를 크게 향상시키며(주제와 표현 특징을 추가할 때 최대 약 13포인트의 절대 향상).
• 교차 주제 학습은 같은 주제 학습에 비해 성능이 저하되며, 주제 전이된 감정 모델의 교차 도메인 문제를 강조한다.
• 명시적 감정 표현이 상당한 증가를 기여하며(일부 설정에서 약 10%의 절대 향상).
• 주제-의식 모델이 주제 무관한 베이스라인보다 우수하며, 아랍어 방언 감정 분석에서 주제 맥락의 중요성을 강조한다.