[논문 리뷰] Are the Multilingual Models Better? Improving Czech Sentiment with Transformers

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|2021. 08. 24.

Sentiment Analysis and Opinion Mining참고 문헌 50인용 수 6

한 줄 요약

이 논문은 체코어 감성 극성 검출을 위한 단어장 및 다국어 트랜스포머 모델을 평가하며, XLM-R-Large와 같은 대규모 다국어 모델이 더 작은 단어장 모델보다 성능이 뛰어나고 최신 기술 수준(SOTA) 성능을 달성함을 입증한다. 또한 영어에서 체코어로의 제로샷 교차언어 전이가 미세조정된 단어장 모델에 비해 4.4% 이내로 성능을 보이며, 체코어 감성 분석 분야에서 처음으로 이와 같은 연구를 수행한다.

ABSTRACT

In this paper, we aim at improving Czech sentiment with transformer-based models and their multilingual versions. More concretely, we study the task of polarity detection for the Czech language on three sentiment polarity datasets. We fine-tune and perform experiments with five multilingual and three monolingual models. We compare the monolingual and multilingual models' performance, including comparison with the older approach based on recurrent neural networks. Furthermore, we test the multilingual models and their ability to transfer knowledge from English to Czech (and vice versa) with zero-shot cross-lingual classification. Our experiments show that the huge multilingual models can overcome the performance of the monolingual models. They are also able to detect polarity in another language without any training data, with performance not worse than 4.4 % compared to state-of-the-art monolingual trained models. Moreover, we achieved new state-of-the-art results on all three datasets.

연구 동기 및 목표

• 체코어 감성 극성 검출에 대해 단어장 및 다국어 트랜스포머 모델의 성능을 평가하는 것.
• 다국어 모델이 언어 간 지식을 전이할 수 있는지, 특히 영어에서 체코어로 및 그 반대의 경우를 포함해 평가하는 것.
• 향후 체코어 감성 분석 작업 평가를 위한 표준화된 데이터 분할을 확립하는 것.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 미세조정된 모델과 코드를 공개하는 것.
• 트랜스포머 기반 모델을 사용하여 세 개의 체코어 감성 데이터셋에서 새로운 최신 기술 수준 성능을 달성하는 것.

제안 방법

• 세 개의 체코어 감성 데이터셋에 대해 다국어 모델 다섯 개와 단어장 모델 세 개 총 일곱 개인 사전 훈련된 트랜스포머 모델을 미세조정하였다.
• 모델 별 최적화된 초모수를 사용한 표준적인 미세조정 절차를 적용하였으며, 최고 성능를 얻기 위해 학습률을 2e-6로 설정하였다.
• 영어 데이터로 모델을 미세조정한 후 체코어 데이터에 대해 추가 훈련 없이 평가함으로써 제로샷 교차언어 분류를 수행하였다.
• 테스트 세트에서 정확도와 F1 점수를 사용해 성능을 평가하였으며, 안정성 평가를 위해 신뢰구간을 보고하였다.
• 개발 세트 성능에 기반해 모델을 선별하고 이전 최신 기술 수준 접근법과 성능을 비교하였다.
• 모든 미세조정된 모델, 코드, 표준화된 데이터 분할을 공개하여 재현 가능성과 향후 벤치마킹을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다국어 트랜스포머 모델이 체코어 감성 극성 검출에서 단어장 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 다국어 모델이 영어와 체코어 간 제로샷 교차언어 감성 분류를 어느 정도 성공적으로 수행할 수 있는가?
• RQ3 모델 크기와 아키텍처가 저자원 체코어 감성 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ4 표준화된 데이터 분할이 향후 체코어 감성 분석 연구에서 비교 가능성과 재현 가능성을 향상시킬 수 있는가?
• RQ5 체코어 텍스트에 대해 트랜스포머 모델의 최적 초모수와 미세조정 전략은 무엇인가?

주요 결과

• XLM-R-Large 모델은 세 개의 체코어 감성 데이터셋 전반에서 최신 기술 수준 성능을 달성하였으며, 단어장 모델과 더 작은 다국어 모델보다 뛰어난 성능을 보였다.
• 체코어에서 영어로의 제로샷 교차언어 분류에서 XLM-R-Large 모델은 93.98%의 정확도를 기록하였으며, 영어 IMDB에서 현재 최신 기술 수준 성능에 비해 3.4% 이하로 떨어졌다.
• XLM-R-Large를 사용한 영어에서 체코어로의 제로샷 전이에서 체코어 CSFD 데이터셋에서 94.22%의 정확도를 기록하였으며, 체코어에서 미세조정된 최고의 단어장 모델에 비해 4.4% 이내로 높은 성능을 보였다.
• 파rameter 수가 적은 단어장 Czert-B 모델은 경쟁력 있는 성능을 보였으며, 저자원 환경에서 적합한 선택이 될 수 있다.
• 낮은 학습률(2e-6)은 모든 모델에서 일관되게 더 좋은 수렴과 높은 성능로 이어졌다.
• 작은 데이터셋(예: ~6,000 예제를 가진 FB)에서의 미세조정은 높은 변동성과 과적합 위험을 보이며, 저자원 환경에서의 불안정성을 나타냈다.