[論文レビュー] Czech Dataset for Cross-lingual Subjectivity Classification

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、映画レビューおよび概要文から成る10,000文の手動アノテーション付きチェコ語の主観性データセットを初めて紹介する。Cohenのカッパ係数は0.83であり、高いアノテーター間一致度を示している。多言語Bertモデルを用いたゼロショットクロスリンガル転移評価が可能となり、チェコ語データセットで93.56%の精度を達成した。また、特にXLM-R-Largeは、両言語で単言語モデルを上回る強力なクロスリンガル転移能力を示した。

ABSTRACT

In this paper, we introduce a new Czech subjectivity dataset of 10k manually annotated subjective and objective sentences from movie reviews and descriptions. Our prime motivation is to provide a reliable dataset that can be used with the existing English dataset as a benchmark to test the ability of pre-trained multilingual models to transfer knowledge between Czech and English and vice versa. Two annotators annotated the dataset reaching 0.83 of the Cohen's \k{appa} inter-annotator agreement. To the best of our knowledge, this is the first subjectivity dataset for the Czech language. We also created an additional dataset that consists of 200k automatically labeled sentences. Both datasets are freely available for research purposes. Furthermore, we fine-tune five pre-trained BERT-like models to set a monolingual baseline for the new dataset and we achieve 93.56% of accuracy. We fine-tune models on the existing English dataset for which we obtained results that are on par with the current state-of-the-art results. Finally, we perform zero-shot cross-lingual subjectivity classification between Czech and English to verify the usability of our dataset as the cross-lingual benchmark. We compare and discuss the cross-lingual and monolingual results and the ability of multilingual models to transfer knowledge between languages.

研究の動機と目的

• 自然言語処理におけるクロスリンガル評価のためのチェコ語の主観性データセットが不足しているという問題に取り組む。
• 英語とチェコ語間での知識転移を評価するための多言語事前学習モデルのベンチマークを可能にする。
• 低リソース言語における主観性分類のための信頼できる単言語およびクロスリンガルベンチマークを提供する。
• 再現可能な研究を促進するため、高品質で無料で利用可能なデータセットとコードを公開する。

提案手法

• 2名のアノテーターによる映画レビューおよび概要文から成る10,000文の手動アノテーション。アノテーター間一致度はCohenのカッパ係数で測定。
• 遠隔監視を用いて、レビューは主に主観的であり、概要文は主に客観的であるという仮定に基づき、20万文のより大きなデータセットの作成。
• チェコ語データセット上で5種類のBert風モデル（mBERT、XLM-R-Large、および3種類の単言語バージョン）を微調整し、単言語ベースラインを確立。
• ゼロショットクロスリンガル評価として、英語データで微調整したモデルをチェコ語でテストし、逆にチェコ語データで微調整したモデルを英語でテストすることで、転移性を評価。
• 英語およびチェコ語の両方のデータで同時に微調整し、多言語学習の効率性を評価。
• 開発およびテスト分割における精度と信頼区間を用いた評価。モデル選択は開発セットの性能に基づく。

実験結果

リサーチクエスチョン

• RQ1 新たに作成されたチェコ語の主観性データセットは、クロスリンガル転移学習の信頼できるベンチマークとして機能するか？
• RQ2 mBERT や XLM-R-Large といった多言語モデルは、主観性分類において英語とチェコ語の間で知識をどれほど効果的に転送できるか？
• RQ3 新しく作成されたチェコ語データセットにおいて、単言語微調整とゼロショットクロスリンガル微調整の間には、どの程度の性能差があるか？
• RQ4 英語およびチェコ語の両方のデータで同時に学習させることで、単言語微調整よりも性能が向上するか？
• RQ5 手動アノテーション付きデータの品質は、大規模な自動ラベル付データと比較して、クロスリンガル転移においてどの程度優れているか？

主な発見

• チェコ語の主観性データセットはCohenのカッパ係数0.83を達成しており、高いアノテーター間一致度と信頼できるデータ品質を示している。
• XLM-R-Largeモデルはチェコ語データセットで93.56%の精度を達成し、強力な単言語ベースラインを確立した。
• 英語データでのみ微調整したXLM-R-Largeモデルは、チェコ語テストセットで94.4%の精度を達成し、チェコ語で微調整した単言語モデルの結果からわずか2.8%の差にとどまった。
• チェコ語データで微調整したモデルは、英語テストセットで92.8%の精度を達成したが、これは現在の英語での最先端技術から4.4%低い結果であった。
• 両言語のデータで同時に微調整した結果、単言語微調整の結果に比べて性能が向上しなかった。これは、この設定では共同学習に顕著な利点がないことを示唆している。