[논문 리뷰] NUIG-Shubhanker@Dravidian-CodeMix-FIRE2020: Sentiment Analysis of Code-Mixed Dravidian text using XLNet

Shubhanker Banerjee, Arun Jayapal외 1명|arXiv (Cornell University)|2020. 10. 15.

Natural Language Processing Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 별도의 사전 처리 없이 코드 믹스드 드라비디언-영어 텍스트, 특히 타밀-영어(Tanglish) 및 말라요람-영어 데이터셋에 대해 XLNet 언어 모델을 피팅 트레이닝하여 감성 분석을 수행한다. 말라요람-영어 데이터셋에서는 49%의 정확도, 타밀-영어 데이터셋에서는 35%의 정확도를 기록했지만, 성능은 클래스 불균형과 데이터 노이즈로 인해 제한되어 있어, 연장된 트레이닝과 데이터 증강을 통해 향상될 수 있음을 시사한다.

ABSTRACT

Social media has penetrated into multilingual societies, however most of them use English to be a preferred language for communication. So it looks natural for them to mix their cultural language with English during conversations resulting in abundance of multilingual data, call this code-mixed data, available in todays' world.Downstream NLP tasks using such data is challenging due to the semantic nature of it being spread across multiple languages.One such Natural Language Processing task is sentiment analysis, for this we use an auto-regressive XLNet model to perform sentiment analysis on code-mixed Tamil-English and Malayalam-English datasets.

연구 동기 및 목표

• 코드 믹스드 드라비디언-영어 소셜 미디어 텍스트에 대한 감성 분석 과제를 해결하기 위해, 자원이 부족하고 의미적으로 복잡한 텍스트에 대응한다.
• 광범위한 사전 처리 없이도 사전 훈련된 XLNet 모델이 저자원 코드 믹스드 데이터셋에 대해 감성 분류에 효과적으로 작용하는지 평가한다.
• 감성 분류의 맥락에서 말라요람-영어와 타밀-영어 코드 믹스드 데이터셋 간의 성능 차이를 조사한다.
• 특히 클래스 불균형과 데이터 품질 문제로 인해 모델 성능에 제약이 발생하는지 확인하고, 향상 방안을 제시한다.

제안 방법

• 4 에포크와 최대 학습률 0.005를 사용하여 타밀-영어 및 말라요람-영어 텍스트의 레이블이 부여된 코드 믹스드 데이터셋에 대해 사전 훈련된 XLNet 모델을 피팅 트레이닝한다.
• 자기회귀 예측 중 왼쪽과 오른쪽 토큰을 모두 고려하여 양방향적 맥락을 모델링하기 위해 XLNet의 이중 스트림 어텐션 메커니즘을 활용한다.
• 입력 시퀀스의 가능한 모든 순열을 고려하여 순열 언어 모델링을 적용함으로써, 양방향에서의 맥락적 의존성을 학습할 수 있도록 XLNet을 훈련시킨다.
• 코드 믹스드 시퀀스 내 장거리 의존성을 포착하기 위해 표준 트랜스포머 아키텍처와 다중 헤드 자기어텐션을 사용한다.
• XLNet 출력에서 [CLS] 토큰의 최종 은닉 상태를 사용하여 감성 분류를 수행하고, 다중 클래스 예측을 위해 소프트맥스 레이어를 적용한다.
• FIRE 2020 경쟁 대회 기준으로 데이터셋을 훈련, 검증, 테스트 세트로 분할하였으며, 타밀-영어 데이터셋은 15,744개 문장, 말라요람-영어 데이터셋은 6,738개 문장으로 구성되어 있다.

실험 결과

연구 질문

• RQ1 사전 처리 없이도 XLNet 모델이 저자원 코드 믹스드 드라비디언-영어 텍스트에 대해 감성 분석을 효과적으로 수행할 수 있는가?
• RQ2 데이터 품질과 크기의 차이가 있을 때, 말라요람-영어와 타밀-영어 코드 믹스드 데이터셋 간의 모델 성능은 어떻게 달라지는가?
• RQ3 훈련 데이터의 클래스 불균형이 소수의 감성 클래스에 대한 모델 예측 성능에 얼마나 큰 영향을 미치는가?
• RQ4 표준 하이퍼파rameter로 XLNet을 피팅 트레이닝하는 것 외에, 코드 믹스드 드라비디언 텍스트의 감성 분류 정확도를 향상시키기 위해 어떤 개선 조치를 취할 수 있는가?

주요 결과

• 모델은 말라요람-영어 데이터셋에서 테스트 정확도 49%를, 타밀-영어 데이터셋에서 35%를 기록하여 저자원 코드 믹스드 텍스트에서 중간 정도의 성능을 보였다.
• 말라요람-영어 데이터셋의 F1-가중 평균 점수는 0.52, 타밀-영어 데이터셋은 0.32였으며, 이는 두 데이터셋 간의 성능 격차가 뚜렷하다는 것을 반영한다.
• 말라요람-영어 데이터셋에서는 긍정 클래스의 F1 점수가 가장 높았고(0.59), 타밀-영어 데이터셋에서는 0.51였으며, 이는 대부분의 클래스와의 일치도가 높다는 것을 의미한다.
• 혼합 감정 및 부정 감정 클래스는 말라요람-영어 데이터셋에서 각각 F1 점수 0.05와 0.19로 가장 낮았으며, 이는 미묘한 감정이나 부정 감정을 잘 감지하지 못한다는 것을 시사한다.
• 'not-malayalam' 및 'not-tamil' 클래스의 성능은 F1 점수 0.44와 0.16로 낮게 나타나, 코드 믹스드 맥락 내 언어 식별에 어려움을 겪고 있음을 보여준다.
• 저자들은 타밀-영어 데이터셋의 성능 저하를 더 큰 크기에도 불구하고 더 높은 노이즈 수준 때문이라고 설명한다.