[논문 리뷰] JUNLP@Dravidian-CodeMix-FIRE2020: Sentiment Classification of Code-Mixed Tweets using Bi-Directional RNN and Language Tags

Sainik Kumar Mahata, Dipankar Das외 1명|arXiv (Cornell University)|2020. 10. 20.

Sentiment Analysis and Opinion Mining참고 문헌 9인용 수 6

한 줄 요약

이 논문은 영어-타밀 코드 믹스 트윗의 감성 분류를 위한 양방향 LSTM 모델을 제안하며, 언어 태그와 FastText 단어 임베딩을 통합한다. 시스템은 FIRE2020 공동 과제 테스트 세트에서 F1 점수 0.58을 기록하여, 자원이 적고 코드 믹스가 많은 자연어 처리 환경에서 언어 태그가 기본 모델 대비 성능 향상을 이끌 수 있음을 입증한다.

ABSTRACT

Sentiment analysis has been an active area of research in the past two decades and recently, with the advent of social media, there has been an increasing demand for sentiment analysis on social media texts. Since the social media texts are not in one language and are largely code-mixed in nature, the traditional sentiment classification models fail to produce acceptable results. This paper tries to solve this very research problem and uses bi-directional LSTMs along with language tagging, to facilitate sentiment tagging of code-mixed Tamil texts that have been extracted from social media. The presented algorithm, when evaluated on the test data, garnered precision, recall, and F1 scores of 0.59, 0.66, and 0.58 respectively.

연구 동기 및 목표

• 코드 믹스된 소셜 미디어 텍스트, 특히 타밀-영어와 같은 드라비디아어 맥락에서 감성 분류의 과제를 해결하기 위해.
• 기존 NLP 도구가 실패하는 저자원, 다국어, 문법적으로 복잡한 코드 믹스 데이터에서 성능을 향상시키기 위해.
• 코드 믹스 텍스트의 감성 분류 모델 성능 향상에 있어 언어 태그 기능의 효과성을 평가하기 위해.
• 양방향 LSTM과 FastText 임베딩을 활용한 강력한 딥 러닝 모델을 개발하여 감성 극성 탐지 기능을 수행하기 위해.
• 드라비디아어-코드 믹스-FIRE2020 공동 과제에 참여하고, 감성 분석을 위한 코드 믹스된 소셜 미디어 콘텐츠에 기여하기 위해.

제안 방법

• 모델은 코드 믹스된 영어-타밀 텍스트의 단어들에 대해 문자 n-그램(3–6)을 사용한 FastText 임베딩을 적용하여 조밀한 벡터 표현을 생성한다.
• 각 문장 내 개별 단어들은 NLTK 기반 언어 감지 기법을 사용해 영어 또는 비영어로 태그 지정되며, 추가 입력 특징으로 활용된다.
• 단어 벡터와 언어 태그가 연결되어 양방향 LSTM 레이어에 입력되어 전방 및 후방 방향의 문맥적 의존성을 포착한다.
• 양방향 LSTM의 최종 문맥 벡터는 다층 퍼셉트론 레이어를 거쳐 다섯 가지 감성 레이블 중 하나를 예측한다: 긍정, 부정, 혼합 감정, 타밀 아님, 또는 알 수 없음.
• 모델는 Adam 옵timizer, 희소 다중 분류 교차 엔트로피 손실, 배치 크기 32, 50 에포크로 훈련되며, 검증 세트는 전체 데이터의 10%로 설정된다.
• 제거 실험은 언어 태그 유무 및 단방향 대 양방향 LSTM을 비교하여 각 기능의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 언어 태그를 기능으로 통합할 경우, 코드 믹스된 영어-타밀 트윗의 감성 분류 정확도 향상에 얼마나 효과적인가?
• RQ2 코드 믹스된 소셜 미디어 텍스트의 감성 분류에서, 양방향 LSTM이 단방향 LSTM보다 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 문자 n-그램을 활용한 FastText 임베딩은 저자원, 코드 믹스된 NLP 과제에서 표현 학습을 얼마나 향상시키는가?
• RQ4 드라비디아어-코드 믹스 공동 과제에서 언어 태그 없이 또는 양방향 문맥 모델링 없이 구현된 베이스라인 모델과 비교해 본다면, 제안된 모델은 어떻게 성능을 내는가?
• RQ5 최소한의 아키텍처 복잡도를 가진 경량 딥 러닝 아키텍처가 코드 믹스 감성 분류에서 경쟁적인 성능을 낼 수 있는가?

주요 결과

• 최종 모델은 양방향 LSTM에 언어 태그 기능을 통합한 결과, FIRE2020 조직위원회가 평가한 공식 테스트 세트에서 F1 점수 0.58을 기록하였다.
• 모델은 정밀도 0.59와 재현율 0.66을 기록하여 감성 예측에서 약간의 재현율 편향을 보였다.
• 제거 실험에서 양방향 LSTM에 언어 태그를 통합한 모델이 F1 점수에서 모든 다른 모델을 앞섰으며, 이는 언어 태그 기능의 효과성을 확인한다.
• 언어 태그가 없는 모델은 최고 성능 모델 대비 略적으로 낮은 F1 점수(0.61)를 기록하여 언어 태그가 추가적인 가치를 제공함을 보여준다.
• 최고 성능 모델은 테스트 세트에서 정확도 70.42%를 기록하였으며, 감성 클래스 간 정밀도와 재현율의 균형 잡힌 분포를 보였다.
• 제거 실험 결과, 언어 태그와 양방향 문맥 모델링이 함께 코드 믹스 감성 분류 성능 향상에 기여하는 것으로 확인되었다.