[논문 리뷰] Sentiment Analysis of Arabic Tweets: Feature Engineering and A Hybrid Approach

Nora Al-Twairesh, Hend S. Al‐Khalifa외 2명|arXiv (Cornell University)|2018. 05. 22.

Sentiment Analysis and Opinion Mining참고 문헌 27인용 수 27

한 줄 요약

이 논문은 공학된 언어적 특징과 코퍼스 기반 및 어휘 기반 분류 모델을 융합한 하이브리드 감성 분석 접근법을 제안한다. 노이즈가 많고 비공식적인 소셜 미디어 텍스트인 사우디 아랍어 트윗에 대해 특징 선택과 앙상블 모델링을 통해 이중 분류 시 F1 점수 69.9, 삼중 분류 시 61.63, 사중 분류 시 55.07을 달성한다.

ABSTRACT

Sentiment Analysis in Arabic is a challenging task due to the rich morphology of the language. Moreover, the task is further complicated when applied to Twitter data that is known to be highly informal and noisy. In this paper, we develop a hybrid method for sentiment analysis for Arabic tweets for a specific Arabic dialect which is the Saudi Dialect. Several features were engineered and evaluated using a feature backward selection method. Then a hybrid method that combines a corpus-based and lexicon-based method was developed for several classification models (two-way, three-way, four-way). The best F1-score for each of these models was (69.9,61.63,55.07) respectively.

연구 동기 및 목표

• 비공식적이고 형태학적으로 풍부한 사우디 아랍어 트윗 텍스트에서 감성 분석의 과제를 해결한다.
• 사우디 아랍어 소셜 미디어 콘텐츠에 내재된 노이즈와 언어적 복잡성을 극복한다.
• 하이브리드 모델링을 통해 당사자 어조 아랍어에 특화된 강력한 감성 분류 시스템을 개발한다.
• 감성 예측을 위한 다양한 언어적 및 통계적 특징의 평가 및 최적화를 수행한다.
• 특징 선택과 다수의 분류 전략 통합을 통해 분류 성능을 향상시킨다.

제안 방법

• n-그램, 품사 태그, 감성 어휘 점수 등 포괄적인 언어적 특징을 공학하였다.
• 감성 분류에 가장 예측력 있는 특징을 식별하기 위해 후행 특징 선택을 적용하였다.
• 코퍼스 기반 접근법(annotated 데이터 기반 지도 학습 기반)과 어휘 기반 방법(사전 기반 감성 점수)을 융합하였다.
• 이중, 삼중, 사중 감성 레이블링 체계에서 다양한 분류 모델(SVM, 나이브 베이즈 등)을 평가하였다.
• 코퍼스 기반 및 어휘 기반 모델의 출력을 앙상블 평균을 통해 통합하여 정밀도를 향상시켰다.
• 학습 및 평가를 위해 공개된 수작업으로 레이블링된 사우디 아랍어 트윗 데이터셋을 사용하였다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 비공식적인 사우디 아랍어 트윗에서 감성 분류에 가장 효과적인 공학된 특징는 무엇인가?
• RQ2 코퍼스 기반 및 어휘 기반 방법을 융합하면 단독 접근법에 비해 감성 분류 성능을 어떻게 향상시키는가?
• RQ3 다른 감성 분류 체계(이중, 삼중, 사중)는 아랍어 트윗에서 모델 성능에 어떻게 영향을 미치는가?
• RQ4 하이브리드 모델링은 자원이 적고 형태학적으로 풍부한 언어 환경에서 전통적인 단일 방법 접근법을 초월할 수 있는가?

주요 결과

• 하이브리드 접근법은 이중 감성 분류(긍정 대 비긍정)에서 최고의 F1 점수 69.9를 기록하였다.
• 삼중 분류 모델(긍정, 부정, 중립)은 F1 점수 61.63을 달성하여 균형 잡힌 감성 카테고리에서 뛰어난 성능을 보였다.
• 사중 분류 모델(혼합 또는 기타 감성 포함)은 F1 점수 55.07을 기록하여 더 세분화된 감성 카테고리 간 구분의 과제를 보여주었다.
• 특징 후행 선택이 재현성 높거나 노이즈가 많은 특징을 제거함으로써 모델 성능을 크게 향상시켰다.
• 어휘 기반 및 코퍼스 기반 모델의 통합은 특히 OOV(어휘 외 어휘) 및 희귀 형태학적 형태 처리에 있어 정밀도를 향상시켰다.
• 이 연구는 아랍어 형태학과 소셜 미디어 당사자 어조에 맞춘 특징 공학이 효과적인 감성 분석을 위해 필수적임을 확인한다.