[논문 리뷰] Findings of the Sentiment Analysis of Dravidian Languages in Code-Mixed Text

Bharathi Raja Chakravarthi, Ruba Priyadharshini외 9명|arXiv (Cornell University)|2021. 11. 18.

Natural Language Processing Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 다국어 및 미세조정된 트랜스포머 모델을 사용하여 코드 혼합 드라비디아어 언어—타밀어, 말라요람어, 칸나다어에 대한 감성 분석을 위한 공동 과제의 결과를 제시한다. 최상위 시스템들은 타밀어-영어(0.711), 말라요람어-영어(0.804), 칸나다어-영어(0.630)의 가중 F1 스코어를 기록하여 XLM-RoBERTa와 문맥 기반 임bedding의 강력한 성능을 입증했지만, 도메인 특화 최적화로 인해 칸나다어에서는 전통적 모델이 트랜스포머를 능가했다.

ABSTRACT

We present the results of the Dravidian-CodeMix shared task held at FIRE 2021, a track on sentiment analysis for Dravidian Languages in Code-Mixed Text. We describe the task, its organization, and the submitted systems. This shared task is the continuation of last year's Dravidian-CodeMix shared task held at FIRE 2020. This year's tasks included code-mixing at the intra-token and inter-token levels. Additionally, apart from Tamil and Malayalam, Kannada was also introduced. We received 22 systems for Tamil-English, 15 systems for Malayalam-English, and 15 for Kannada-English. The top system for Tamil-English, Malayalam-English and Kannada-English scored weighted average F1-score of 0.711, 0.804, and 0.630, respectively. In summary, the quality and quantity of the submission show that there is great interest in Dravidian languages in code-mixed setting and state of the art in this domain still needs more improvement.

연구 동기 및 목표

• 소셜 미디어 텍스트를 활용하여 코드 혼합 드라비디아어 언어—타밀어, 말라요람어, 칸나다어에서의 감성 분석을 평가하고 향상시키기.
• 저자원, 코드 혼합 언어 환경에서 다국어 트랜스포머 모델과 전통적 NLP 기법의 효과성을 평가하기.
• FIRE 2021에서의 공동 과제를 통해 드라비디아어 언어 NLP 분야의 연구 관심을 고취하고 벤치마크 성능을 제시하기.
• 향후 연구를 위해 타밀어-영어, 말라요람어-영어, 칸나다어-영어의 주석이 달린 다국어, 코드 혼합 데이터셋을 제공하기.
• 저자원 드라비디아어 언어 변종 간에 잘 일반화되는 모델 아키텍처와 미세조정 전략을 규명하기

제안 방법

• 공동 과제는 타밀어, 말라요람어, 칸나다어와 영어 간의 문장 내 및 문장 간 수준의 코드 혼합을 포함한 소셜 미디어에서의 인간 주석이 달린 유튜브 댓글을 사용했다.
• 참가자들은 코드 혼합 데이터셋에 대해 XLM-RoBERTa, BERT, DistilBERT와 같은 다국어 사전 훈련 모델을 미세조정했으며, 이러한 데이터에 대한 사전 훈련이 없음에도 불구하고 진행되었다.
• 최상위 시스템들은 미세조정된 트랜스포머 아키텍처를 기반으로 문맥 기반 단어 임베딩과 어텐션 메커니즘을 활용하여 감성 극성 모델링을 수행했다.
• 일부 팀은 성능이 트랜스포머보다 낮았지만, 전통적 기계 학습 모델(예: 로지스틱 회귀, TF-IDF를 사용한 SVM)과 RNN(예: LSTM, ULMFiT)을 사용했다.
• 평가 기준은 가중 F1 스코어였으며, 세 언어 쌍—타밀어-영어, 말라요람어-영어, 칸나다어-영어—기반 순위로 결과가 정렬되었다.
• 이 과제는 이전의 Dravidian-CodeMix 2020 공동 과제를 바탕으로 하여 칸나다어를 추가하고 더 복잡한 코드 혼합 패턴을 포함시켰다.

실험 결과

연구 질문

• RQ1 XLM-RoBERTa와 같은 다국어 트랜스포머 모델은 코드 혼합 드라비디아어 언어에서 감성 분석에 얼마나 효과적인가?
• RQ2 코드 혼합 드라비디아어-영어 텍스트에 사전 훈련된 모델을 미세조정함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ3 왜 TF-IDF를 사용한 SVM과 같은 전통적 모델이 칸나다어-영어 벤치마크에서 트랜스포머를 능가하는가?
• RQ4 코드 혼합 수준(문장 내 vs. 문장 간)은 감성 분류 성능에 어떤 영향을 미치는가?
• RQ5 저자원 드라비디아어 언어에서 코드 혼합 환경에서의 감성 분석 최신 기술 수준는 어떠한가?

주요 결과

• 타밀어-영어의 최상위 성능 시스템은 가중 F1 스코어 0.711을 기록했으며, CIA_NITT [29]가 1위를 차지했다.
• 말라요람어-영어의 경우 최고의 시스템이 F1 스코어 0.804를 기록했으며, ZYBank-AI [21]가 이끌었다. 이는 이 언어 쌍에서 모델의 강력한 일반화 능력을 시사한다.
• 칸나다어-영어에서는 최상위 시스템이 F1 스코어 0.630을 기록했으며, SSNCSE_NLP [33]가 TF-IDF와 로지스틱 회귀를 사용해 트랜스포머 기반 모델을 능가했다.
• 트랜스포머 모델의 우세에도 불구하고, TF-IDF를 사용한 SVM과 로지스틱 회귀와 같은 전통적 모델이 칸나다어에서 최신 기술 수준을 달성했으며, 이는 도메인 특화 최적화가 핵심임을 시사한다.
• 각 언어의 상위 3개 시스템은 모두 문맥 기반 임베딩과 미세조정된 다국어 모델을 사용했으며, XLM-RoBERTa가 여러 언어에서 강력한 성능을 보였다.
• 결과는 드라비디아어 NLP 분야에 대한 관심이 증가하고 있음을 시사하며, 타밀어, 말라요람어, 칸나다어 각각 22개, 15개, 15개의 참가가 있었고, 지속적인 공동체 참여를 보여준다.