[논문 리뷰] L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset

Atharva Kulkarni, Meet Mandhane외 3명|arXiv (Cornell University)|2021. 03. 21.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 6

한 줄 요약

이 논문은 약 16,000개의 수동으로 주석 처리된 트윗을 포함한, 마라티어 트윗 기반 감성 분석을 위한 첫 번째 대규모 공개 가능한 데이터셋인 L3CubeMahaSent을 소개한다. 이는 긍정, 부정, 중립의 세 가지 클래스로 구성되어 있다. 연구에서는 CNN, BiLSTM, ULMFiT, mBERT, IndicBERT 등의 다양한 딥 러닝 모델을 평가하여, IndicBERT가 3개 클래스 분류에서 가장 높은 정확도(84.13%)를 기록했고, 훈련 가능한 Indic fastText 임베딩을 사용한 CNN가 2개 클래스 분류에서 가장 뛰어난 성능(93.13%)을 보였다.

ABSTRACT

Sentiment analysis is one of the most fundamental tasks in Natural Language Processing. Popular languages like English, Arabic, Russian, Mandarin, and also Indian languages such as Hindi, Bengali, Tamil have seen a significant amount of work in this area. However, the Marathi language which is the third most popular language in India still lags behind due to the absence of proper datasets. In this paper, we present the first major publicly available Marathi Sentiment Analysis Dataset - L3CubeMahaSent. It is curated using tweets extracted from various Maharashtrian personalities' Twitter accounts. Our dataset consists of ~16,000 distinct tweets classified in three broad classes viz. positive, negative, and neutral. We also present the guidelines using which we annotated the tweets. Finally, we present the statistics of our dataset and baseline classification results using CNN, LSTM, ULMFiT, and BERT-based deep learning models.

연구 동기 및 목표

• 마라티어, 즉 자원이 적은 인도어 언어에 대해 공개적으로 이용 가능한 대규모 감성 분석 데이터셋의 부족을 해결하기 위해.
• 딥 러닝 기반 감성 분류를 지원하기 위해 고품질의 수동 주석 처리된 마라티어 트윗 데이터셋을 구축하기 위해.
• 최신 기술 기반의 모델들인 CNN, BiLSTM, ULMFiT 및 BERT 변종을 활용하여 마라티어 감성 분석의 기준 성능을 설정하기 위해.
• 마라티어 NLP 연구를 가속화하기 위해 재사용 가능한 사전 학습된 임베딩 및 미세조정된 모델을 제공하기 위해.
• 마라티어에서 혐오 발언 탐지, 가짜 뉴스 식별, 정치적 감성 분석 등의 후행 NLP 작업을 지원하기 위해.

제안 방법

• 마라티아의 유명 인사들의 공개된 트위터 계정에서 약 16,000개의 고유한 마라티어 트윗을 선별적으로 수집하였다.
• 각 트윗을 긍정, 부정, 중립의 세 가지 감성 클래스로 수동으로 주석 처리하기 위해 종합적인 주석 정책을 적용하였다.
• 재현 가능한 실험을 위해 균형 잡힌 훈련, 검증, 테스트 세트로 데이터셋을 분할하였다.
• CNN, BiLSTM, ULMFiT 및 트랜스포머 기반 모델(mBERT, IndicBERT)과 같은 다양한 딥 러닝 아키텍처를 훈련하고 평가하였다.
• 다양한 단어 임베딩을 사용: 무작위 초기화, 페이스북의 fastText, IndicNLP의 fastText 임베딩을 훈련 가능한 모드와 정적 모드 모두에서 사용하였다.
• CLS 토큰을 활용하여 전이 학습 기반으로 mBERT와 IndicBERT를 미세조정하여 시퀀스 분류 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 최신 기술 기반의 딥 러닝 모델들이 새로 수집된 마라티어 감성 분석 데이터셋에서 어떤 성능을 보일 수 있는가?
• RQ2 자원이 적은 언어인 마라티어에서, 사전 학습된 단어 임베딩과 무작위 초기화 간의 일반화 능력과 과적합 정도는 어떻게 비교되는가?
• RQ3 2개 클래스 및 3개 클래스 설정 모두에서, CNN, BiLSTM, ULMFiT 또는 BERT 아키텍처 중 어느 것이 마라티어 트윗 감성 분류에서 가장 우수한 성능을 내는가?
• RQ4 다국어 BERT 모델(mBERT 및 IndicBERT)은 단일 언어 또는 다국어 기반 베이스라인에 비해 마라티어 감성 분석에서 얼마나 효과적인가?
• RQ5 도메인 특화, 언어 특화 임베딩(예: Indic fastText)을 사용할 경우, 마라티어 텍스트에서 모델 성능은 얼마나 향상되는가?

주요 결과

• IndicBERT는 3개 클래스 분류에서 84.13%의 가장 높은 정확도를 기록하여, mBERT 및 CNN 기반 아키텍처를 포함한 다른 모델들을 모두 앞섰다.
• 훈련 가능한 Indic fastText 임베딩을 사용한 CNN는 2개 클래스 분류에서 93.13%의 가장 높은 정확도를 기록하여, 이 설정에서 IndicBERT를 약간 앞섰다.
• IndicNLP에서 제공하는 사전 학습된 단어 임베딩이 마라티어 텍스트에서 훈련 가능한 모드와 정적 모드 모두에서 페이스북의 fastText 임베딩보다 뛰어난 성능을 보였다.
• 사전 학습된 임베딩을 사용한 모델들은 랜덤 가중치 초기화를 사용한 모델들에 비해 과적합이著しく 감소한 것으로 나타났다.
• ULMFiT는 3개 클래스 분류에서 80.80%의 경쟁력 있는 성능을 기록하여, 자료가 제한된 환경에서도 전이 학습의 효과를 입증하였다.
• 혼동 행렬 분석 결과, 긍정 및 부정 클래스에 대한 예측이 가장 일관되었으며, 특히 3개 클래스 분류에서 중립 클래스에 대한 오분류 비율이 높았다.