[논문 리뷰] Sentiment Analysis of Code-Mixed Indian Languages: An Overview of SAIL_Code-Mixed Shared Task @ICON-2017

Braja Gopal Patra, Dipankar Das외 1명|arXiv (Cornell University)|2018. 03. 18.

Natural Language Processing Techniques참고 문헌 10인용 수 87

한 줄 요약

이 논문은 ICON-2017에서 SAIL_Code-Mixed 공유 태스크를 제시하며 힌디어-영어(HI-EN) 및 벵골어-영어(BN-EN) 코드 혼합 감성 분석을 위한 데이터셋, 평가, 벤치마크 및 참가 시스템을 다룹니다. 여러 팀의 매크로 F-스코어를 보고하고 특징 선택 및 접근 방식에 대해 분석합니다.

ABSTRACT

Sentiment analysis is essential in many real-world applications such as stance detection, review analysis, recommendation system, and so on. Sentiment analysis becomes more difficult when the data is noisy and collected from social media. India is a multilingual country; people use more than one languages to communicate within themselves. The switching in between the languages is called code-switching or code-mixing, depending upon the type of mixing. This paper presents overview of the shared task on sentiment analysis of code-mixed data pairs of Hindi-English and Bengali-English collected from the different social media platform. The paper describes the task, dataset, evaluation, baseline and participant's systems.

연구 동기 및 목표

• 코드 혼합된 인도 소셜 미디어 텍스트(HI-EN 및 BN-EN)에서 감성 분석에 대한 동기 부여.
• HI-EN 및 BN-EN 데이터셋에 언어 태그와 감성 주석을 포함한 골드 표준 데이터 제공.
• 매크로 평균 F-점수를 사용한 다수의 참가 시스템 평가 및 벤치마크 비교.
• 상위 성능 팀이 사용하는 특징 및 모델링 접근 방식 분석.

제안 방법

• 언어 태깅(HI, EN, BN, MIX, EMT, UN) 및 감성 주석이 포함된 데이터셋 생성.
• 주요 평가 지표로 매크로 평균 F-점수 사용.
• 랜덤 감성 할당으로 구성된 벤치마인드 시스템.
• 참가 시스템의 특징 집합(n-그램, 단어/문자 임베딩, 감성 어휘)을 활용한 분류기(SVM, Naïve Bayes, 딥러닝) 비교.
• 양방향(이진) 및 전체 다중 클래스 평가를 양성, 부정, 중립으로 수행.

실험 결과

연구 질문

• RQ1 HI-EN 및 BN-EN 코드 혼합 데이터에서 감성 분석에 효과적인 특징은 무엇인가?
• RQ2 단어/문자 n-그램 및 임베딩이 코드 혼합 감성 작업의 성능을 향상시키는가?
• RQ3 제한된 코드 혼합 데이터에서 전통적 머신 러닝과 딥 러닝의 성능 차이는 무엇인가?
• RQ4 이 공유 태스크에서 HI-EN과 BN-EN 감성 분석의 상대적 난이도는 무엇인가?
• RQ5 이와 같은 코드 혼합 데이터셋에서 기대할 수 있는 벤치마인드 성능은 어느 정도이며 참가 시스템은 그것에 얼마나 근접하는가?

주요 결과

• 최고의 HI-EN 시스템(IIIT-NBP)은 전체 매크로 F1이 0.569이고 양방향 긍정 분류에서 0.707을 달성했다.
• 최고의 BN-EN 시스템(IIIT-NBP)은 전체 매크로 F1이 0.526이고 양방향 긍정 분류에서 0.677을 달성했다.
• 양방향 평가가 일반적으로 다중 클래스(긍정/부정/중립)보다 더 높은 F-스코어를 보였다.
• 대부분의 팀은 n-그램 특징과 scikit-learn 분류기를 사용했고, 일부는 단어/문자 임베딩 및 앙상블 방법을 사용했다.
• 딥 러닝 접근법(예: fastText + CNN/Bi-LSTM)은 데이터셋 크기에 비해 전통 ML 방법보다 성능이 좋지 않았다.
• 벤치마크 무작위 감성은 비교적 낮은 점수를 보였으며, 코드 혼합 소셜 미디어 텍스트의 난이도를 시사한다.