[논문 리뷰] The ParlaSent Multilingual Training Dataset for Sentiment Identification in Parliamentary Proceedings

Michal Mocht̆ak, Peter Rupnik외 1명|arXiv (Cornell University)|2023. 09. 18.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 7개 국가의 5개 유럽어(체코어, 영어, 세르비아-크로아티아어, 슬로바크어, 슬로베니아어)에서 13,000개의 의회 문장을 수작업로 라벨링한 다국어 감성 분석 데이터셋인 ParlaSent을 소개한다. 이 데이터셋은 6단계 감성 레이블을 포함한다. 또한, 이 데이터셋을 기반으로 다국어 XLM-RoBERTa 모델을 미세조정할 때, 특히 17.2억 개의 도메인 특화 의회 단어로 추가 사전 훈련을 수행하면 감성 분류 성능이 크게 향상되며, 훈련에 포함되지 않은 언어와 의회에 대해서도 잘 일반화됨을 보여준다.

ABSTRACT

The paper presents a new training dataset of sentences in 7 languages, manually annotated for sentiment, which are used in a series of experiments focused on training a robust sentiment identifier for parliamentary proceedings. The paper additionally introduces the first domain-specific multilingual transformer language model for political science applications, which was additionally pre-trained on 1.72 billion words from parliamentary proceedings of 27 European parliaments. We present experiments demonstrating how the additional pre-training on parliamentary data can significantly improve the model downstream performance, in our case, sentiment identification in parliamentary proceedings. We further show that our multilingual model performs very well on languages not seen during fine-tuning, and that additional fine-tuning data from other languages significantly improves the target parliament's results. The paper makes an important contribution to multiple disciplines inside the social sciences, and bridges them with computer science and computational linguistics. Lastly, the resulting fine-tuned language model sets up a more robust approach to sentiment analysis of political texts across languages, which allows scholars to study political sentiment from a comparative perspective using standardized tools and techniques.

연구 동기 및 목표

• 정치학 분야에서 저자원 유럽어를 위한 고품질의 도메인 특화 감성 데이터셋 부족 문제를 해결한다.
• 컴퓨터 언어학과 사회과학 간 격차를 해소하기 위해 비교적 의회 연구에서 신뢰할 수 있고 표준화된 감성 분석을 가능하게 한다.
• 사회 과학자들이 정치적 논의에서 감성 분류기 구축 및 훈련을 위한 실용적이고 자원을 고려한 프레임워크를 제공한다.
• 감성 분류 성능 향상에 있어 다국어 및 도메인 적응형 사전 훈련의 이점을 입증한다.

제안 방법

• 27개 유럽 의회에서 5개 의회 그룹(각각 2,600개 문장)을 수집하고, 6단계 감성 체계를 사용해 수작업으로 라벨링한다.
• 다양한 언어의 의회 녹취록에서 17.2억 개의 도메인 특화 단어를 기반으로 다국어 XLM-RoBERTa 모델을 사전 훈련한다.
• 시퀀스 분류를 위한 교차 엔트로피 손실을 사용해 ParlaSent 데이터셋으로 사전 훈련된 모델을 미세조정한다.
• 단일 언어 모델과 다국어 모델을 모두 훈련시키며, 목표 언어 데이터만 사용하는 경우와 다국어 데이터를 통합해 훈련하는 경우의 성능을 비교한다.
• 미리 준비된 테스트 세트를 사용해 영국과 BCS(보스니아-헤르체고비나, 크로아티아, 세르비아) 의회 그룹에서의 성능을 평가한다.
• 다양한 언어와 의회 간의 일致성 검증을 위해 평가자 간 일致도(Cohen’s Kappa ≈ 0.65)를 사용한다.

실험 결과

연구 질문

• RQ1 원시 의회 녹취록을 기반으로 추가 사전 훈련을 수행하면 트랜스포머 기반 감성 분류기 성능이 향상되는가?
• RQ2 훈련 데이터에 포함되지 않은 언어와 의회에 대해 다국어 모델의 일반화 능력은 어느 정도인가?
• RQ3 여러 의회에서의 다국어 데이터로 훈련하는 것이 단일 의회에서의 단일 언어 데이터로 훈련하는 것보다 효과적인가?
• RQ4 다양한 언어와 의회 간에 평가자 간 일치도가 높게 유지되는 정도는 어떻게 되며, 이는 신뢰할 수 있는 라벨링 지침을 의미하는가?

주요 결과

• 의회 녹취록에서 유래한 17.2억 개의 도메인 특화 단어로 추가 사전 훈련을 수행하면, 후속 감성 분류 성능이 크게 향상된다.
• 다국어 XLM-R-Parla 모델은 훈련에 포함되지 않은 언어와 의회에 대해서도 높은 성능을 기록하며, 성능 저하가 최소화되어 있어 강력한 다국어 일반화 능력을 보인다.
• 다른 언어에서 4배 이상 많은 데이터로 훈련된 다국어 모델은 체코어를 제외한 모든 의회에서 단일 언어 데이터로만 훈련된 모델보다 뛰어난 성능을 기록한다.
• ParlaSent 데이터셋으로 미세조정된 XLM-R-ParlaSent 모델은 영국 테스트 세트에서 매크로-F1 스코어 0.665, BCS 테스트 세트에서 0.708을 기록하여 강력한 제로샷 일반화 능력을 입증한다.
• 평가자 간 일치도(Cohen’s Kappa ≈ 0.65)는 라벨링 지침이 다양한 언어와 의회 간에 충분히 상세하고 일관되게 적용되었음을 시사한다.
• 모델이 다국어 데이터로 훈련되었을 때 가장 뛰어난 성능을 보이며, 감성 표현의 다국어 및 다의회 패턴이 분류 성능 향상에 기여함을 시사한다.