[논문 리뷰] CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text

Suman Dowlagar, Radhika Mamidi|arXiv (Cornell University)|2021. 01. 22.

Natural Language Processing Techniques참고 문헌 28인용 수 11

한 줄 요약

이 논문은 드라비디아어 혼합 소셜 미디어 텍스트의 감성 분석을 위한 메타임베딩 접근법을 제안하며, fastText, ELMo, TF-IDF 및 GRU를 통합한 트랜스포머 모델을 활용한다. 이 방법은 타밀어 혼합 데이터셋에서 F1 점수 0.58, 말라얄람어 혼합 데이터셋에서 0.66의 성능을 기록하여 다수의 임베딩 소스로부터 풍부한 문맥 표현을 얻음으로써 성능 향상을 입증한다.

ABSTRACT

Code-mixing(CM) is a frequently observed phenomenon that uses multiple languages in an utterance or sentence. CM is mostly practiced on various social media platforms and in informal conversations. Sentiment analysis (SA) is a fundamental step in NLP and is well studied in the monolingual text. Code-mixing adds a challenge to sentiment analysis due to its non-standard representations. This paper proposes a meta embedding with a transformer method for sentiment analysis on the Dravidian code-mixed dataset. In our method, we used meta embeddings to capture rich text representations. We used the proposed method for the Task: "Sentiment Analysis for Dravidian Languages in Code-Mixed Text", and it achieved an F1 score of $0.58$ and $0.66$ for the given Dravidian code mixed data sets. The code is provided in the Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix.

연구 동기 및 목표

• 언어 혼합과 비표준 철자로 인해 자연어 처리 작업이 복잡해지는 드라비디아어 혼합 소셜 미디어 텍스트에서 감성 분석의 과제를 해결하기 위해.
• fastText, ELMo, TF-IDF 등의 다수의 임베딩 소스를 메타임베딩 프레임워크에 통합하여 감성 분류 성능을 향상시키기 위해.
• 트랜스포머의 문맥 이해 능력과 GRU를 통한 순차적 모델링을 활용하여 혼합 시퀀스에서 향상된 표현 학습을 위해.
• FIRE 2020 드라비디아어-코드믹스 공동 과제를 대상으로 평가하며, 주로 타밀어 및 말라얄람어 유튜브 댓글의 감성 분류에 집중하기 위해.
• 비판적 표현인 풍자와 아이러니를 탐지하는 데 어려움이 있으며, 특히 이러한 표현이 긍정적 표현과 유사하게 나타나는 경우에 모델 성능에 악영향을 미치는지 확인하기 위해.

제안 방법

• 비표준 철자와 서브워드 수준의 토크나이제이션을 처리하기 위해 바이트-페어 인코딩(BPE)을 사용하는 SentencePiece 토크나이저를 사용한다.
• 300차원의 벡터 공간에서 코드 혼합 코퍼스에 대해 fastText 임베딩을 훈련시켜 서브워드 수준의 형태소 패턴을 포착한다.
• 1024차원 표현을 제공하는 사전 훈련된 텐서플로우 허브 모델에서 ELMo 임베딩을 확보하여 깊이 있는 문맥 기반 단어 표현을 제공한다.
• 문장 수준에서 TF-IDF 기능을 계산하여 어휘 빈도와 역문헌 빈도를 포착하고, 메타임베딩에 기여한다.
• fastText, ELMo, TF-IDF의 표현을 연결하여 메타임베딩을 형성하고, 이를 1층의 트랜스포머 인코더와 2048차원 피드포워드 네트워크에 입력한다.
• GRU 레이어가 인코딩된 표현을 순차적으로 처리하고, 최종 은닉 상태를 분류를 위한 피드포워드 네트워크에 사용하는 문장 수준의 표현으로 활용한다.

실험 결과

연구 질문

• RQ1 fastText, ELMo, TF-IDF를 통합한 메타임베딩 접근법이 드라비디아어 혼합 텍스트의 감성 분류 성능 향상에 얼마나 효과적인가?
• RQ2 GRU 통합 트랜스포머 아키텍처가 코드 혼합 감성 분석 과제에서 기존 베이스라인 모델(예: 미세조정된 BERT)을 초월할 수 있는가?
• RQ3 코드 혼합 부정 감성에서 풍자와 아이러니를 분류하는 데 주요 과제는 무엇이며, 이는 모델 성능에 어떻게 영향을 미치는가?
• RQ4 왜 모델이 코드 혼합 데이터에서 '혼합 감정'을 '긍정' 감성과 구분하지 못하는가? 이러한 현상에 기여하는 데이터 특성은 무엇인가?
• RQ5 비언어적 댓글(예: not_Tamil, not_Malayalam)이 높은 TF-IDF 점수를 얻을 경우 분류 정확도 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 타밀어 혼합 데이터셋에서 가중 평균 F1 점수 0.58, 말라얄람어 데이터셋에서 0.66을 기록하여, 미세조정된 BERT를 포함한 기존 베이스라인 모델을 초월하는 성능을 보였다.
• 메타임베딩에 TF-IDF 기능을 통합함으로써 타밀어에서는 0.57에서 0.58로, 말라얄람어에서는 0.47에서 0.66으로 성능 향상이 이루어져 비언어적 신호를 포착하는 데의 가치를 입증하였다.
• 모델은 긍정적 감성과 비언어적 댓글을 가장 잘 분류했으며, 이는 고빈도 긍정 어휘와 비언어적 어휘에 대한 높은 TF-IDF 점수로 인해 더 쉽게 식별 가능했기 때문이다.
• 풍자와 아이러니를 포함한 부정 감성 문장에서 어려움을 겪었으며, 긍정적 표현과 어휘적 유사성이 높아 종종 부정 문장을 긍정으로 잘못 분류하였다.
• 타밀어와 말라얄람어 데이터셋 간 성능 격차는 데이터 불균형과 코퍼스 특성가 모델 일반화에 크게 영향을 미친다는 것을 시사한다.
• ELMo와 TF-IDF를 메타임베딩 프레임워크에 통합함으로써 저자원 코드 혼합 언어 쌍에 대해 표현의 풍부함이 향상되었다.