[논문 리뷰] Czech Dataset for Cross-lingual Subjectivity Classification

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|2022. 04. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 영화 리뷰와 설명에서 10,000개 문장으로 구성된 첫 번째 수동 주석 처리된 체코어 주관성 데이터셋을 소개한다. 이 데이터셋은 0.83의 Cohen’s kappa 상호 평가 일치도를 보이며, 다국어 BERT 모델을 활용한 영어와 체코어 간 제로샷 다국어 전이 평가를 가능하게 한다. 이는 체코어 데이터셋에서 93.56%의 정확도를 기록하며 강력한 다국어 전이 능력을 보이며, 특히 XLM-R-Large가 이중 언어에서 단일 언어 모델을 능가함을 입증한다.

ABSTRACT

In this paper, we introduce a new Czech subjectivity dataset of 10k manually annotated subjective and objective sentences from movie reviews and descriptions. Our prime motivation is to provide a reliable dataset that can be used with the existing English dataset as a benchmark to test the ability of pre-trained multilingual models to transfer knowledge between Czech and English and vice versa. Two annotators annotated the dataset reaching 0.83 of the Cohen's \k{appa} inter-annotator agreement. To the best of our knowledge, this is the first subjectivity dataset for the Czech language. We also created an additional dataset that consists of 200k automatically labeled sentences. Both datasets are freely available for research purposes. Furthermore, we fine-tune five pre-trained BERT-like models to set a monolingual baseline for the new dataset and we achieve 93.56% of accuracy. We fine-tune models on the existing English dataset for which we obtained results that are on par with the current state-of-the-art results. Finally, we perform zero-shot cross-lingual subjectivity classification between Czech and English to verify the usability of our dataset as the cross-lingual benchmark. We compare and discuss the cross-lingual and monolingual results and the ability of multilingual models to transfer knowledge between languages.

연구 동기 및 목표

• 자연어 처리 분야에서 다국어 평가를 위한 체코어 주관성 데이터셋 부족 문제를 해결하기 위해.
• 영어와 체코어 간 지식 전이를 위한 다국어 미리 훈련된 모델의 벤치마킹을 가능하게 하기 위해.
• 저자원 언어에서 주관성 분류를 위한 신뢰할 수 있는 단일 언어 및 다국어 벤치마크를 제공하기 위해.
• 재현 가능한 연구를 위해 고품질의 무료로 이용 가능한 데이터셋과 코드를 공개하기 위해.

제안 방법

• 두 명의 주석자에 의한 영화 리뷰와 설명에서 추출한 10,000개 문장의 수동 주석 처리 및 Cohen’s kappa를 통한 상호 주석자 일치도 측정.
• 거리 감독 기반으로 가정하여 리뷰는 대부분 주관적이고 설명은 대부분 객관적이라는 가정을 활용해, 20만 개 문장의 더 큰 두 번째 데이터셋을 생성.
• 체코어 데이터셋에 대해 다섯 종류의 BERT 유사 모델(mBERT, XLM-R-Large, 및 세 종류의 단일 언어 버전)을 미세 조정하여 단일 언어 기반 성능을 확립.
• 제로샷 다국어 전이 평가를 위해 영어 데이터에 대해 모델을 미세 조정하고 체코어 데이터셋에서 테스트를 수행하며, 반대로도 동일한 절차를 반복하여 전이 능력을 평가.
• 영어 및 체코어 데이터셋을 동시에 미세 조정하여 다국어 학습 효율성을 평가.
• 개발 및 테스트 분할에 대해 정확도와 신뢰구간을 사용한 평가를 수행하며, 개발 세트 성능에 기반한 모델 선택을 실시.

실험 결과

연구 질문

• RQ1 신규로 제작된 체코어 주관성 데이터셋이 다국어 전이 학습을 위한 신뢰할 수 있는 기준점이 될 수 있는가?
• RQ2 mBERT 및 XLM-R-Large와 같은 다국어 모델이 주관성 분류 과제에서 영어와 체코어 간 지식을 얼마나 잘 전이할 수 있는가?
• RQ3 신규 체코어 데이터셋에서 단일 언어 미세 조정과 제로샷 다국어 전이 미세 조정 간 성능 격차는 어느 정도인가?
• RQ4 영어 및 체코어 데이터셋을 동시에 학습시키는 것이 단일 언어 미세 조정에 비해 성능 향상에 기여하는가?
• RQ5 수동 주석 처리된 데이터 품질이 다국어 전이에서 대규모 자동 주석 처리된 데이터와 비교해 어떻게 다른가?

주요 결과

• 체코어 주관성 데이터셋은 0.83의 Cohen’s kappa를 기록하여 상당한 주석자 간 일치도를 보이며, 높은 데이터 품질을 입증한다.
• XLM-R-Large 모델은 체코어 데이터셋에서 93.56%의 정확도를 기록하여 강력한 단일 언어 기반 성능 기준을 설정한다.
• 영어 데이터에 대해서만 미세 조정된 XLM-R-Large 모델은 체코어 테스트 세트에서 94.4%의 정확도를 기록했으며, 체코어 데이터에 대해 미세 조정된 단일 언어 모델보다 2.8% 이하의 성능 격차를 보였다.
• 체코어 데이터에 대해 훈련된 모델은 영어 테스트 세트에서 92.8%의 정확도를 기록했으며, 현재 영어 분야의 최고 성능보다 4.4% 낮은 성능을 보였다.
• 양국어 데이터를 동시에 학습시키는 것은 단일 언어 미세 조정에 비해 성능 향상이 없었으며, 이는 이 설정에서 공동 학습의 유의미한 이점이 없음을 시사한다.