[論文レビュー] The ParlaSent Multilingual Training Dataset for Sentiment Identification in Parliamentary Proceedings

Michal Mocht̆ak, Peter Rupnik+1 more|arXiv (Cornell University)|Sep 18, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、7か国からなる5つのヨーロピアン言語（チェコ語、英語、セルビア＝クロアチア語、スロバキア語、スロベニア語）の議会議事録から構成され、6段階の感情分析スケールで手動アノテートされた多言語対応データセット「ParlaSent」を紹介する。このデータセットを用いて、多言語XLM-RoBERTaモデルを微調整する際、17億2000万語にのぼる分野特化型議会議事録データで事前学習を追加することで、感情分類性能が顕著に向上することが示された。また、未学習言語や未学習議会に対しても良好な一般化性能を示した。

ABSTRACT

The paper presents a new training dataset of sentences in 7 languages, manually annotated for sentiment, which are used in a series of experiments focused on training a robust sentiment identifier for parliamentary proceedings. The paper additionally introduces the first domain-specific multilingual transformer language model for political science applications, which was additionally pre-trained on 1.72 billion words from parliamentary proceedings of 27 European parliaments. We present experiments demonstrating how the additional pre-training on parliamentary data can significantly improve the model downstream performance, in our case, sentiment identification in parliamentary proceedings. We further show that our multilingual model performs very well on languages not seen during fine-tuning, and that additional fine-tuning data from other languages significantly improves the target parliament's results. The paper makes an important contribution to multiple disciplines inside the social sciences, and bridges them with computer science and computational linguistics. Lastly, the resulting fine-tuned language model sets up a more robust approach to sentiment analysis of political texts across languages, which allows scholars to study political sentiment from a comparative perspective using standardized tools and techniques.

研究の動機と目的

• 政治科学分野における低リソースなヨーロピアン言語向けに、高品質で分野特化型の感情分析データセットが不足している問題に対処する。
• 計算言語学と社会科学の間のギャップを埋め、比較的議会研究における強固で標準化された感情分析を可能にする。
• 社会科学者らが政治的ディス course に対して感情分類器を構築・訓練するための実用的でリソースに配慮したフレームワークを提供する。
• 多言語および分野適応型事前学習が、リソースが限られた政治的テキスト環境における感情分類性能を向上させる利点を示す。

提案手法

• 27か国のヨーロピアン議会から、5つの議会グループ（各2,600文）を対象に、6段階の感情スケールを用いて手動でアノテートされた文を収集・アノテートする。
• 複数言語の議会議事録から得た17億2000万語の分野特化型語彙を用いて、多言語XLM-RoBERTaモデルを事前学習する。
• シーケンス分類のためのクロスエントロピー損失関数を用いて、ParlaSentデータセット上で事前学習済みモデルを微調整する。
• 単言語モデルと多言語モデルの両方を訓練し、ターゲット言語データのみで学習する場合と、複数言語データを統合して学習する場合の性能を比較する。
• 英国およびBCS（ボスニア・ヘルツェゴビナ、クロアチア、セルビア）の議会グループからホールドアウトされたテストセットを用いて、未学習言語および未学習議会におけるモデル性能を評価する。
• 言語や議会間でのアノテーションの一貫性を検証するため、アノテーター間一致性（Cohen’s Kappa ≈ 0.65）を用いる。

実験結果

リサーチクエスチョン

• RQ1 議会議事録の生テキストで追加の事前学習を施すことで、トランスフォーマー基盤の感情分類器の性能が向上するか？
• RQ2 トレーニングデータに含まれない未学習言語や未学習議会に対し、多言語モデルの一般化性能はどの程度高いか？
• RQ3 複数の議会から得た多言語データで学習する感情分類器の性能が、単一議会の単言語データでの学習に比べて優れているか？
• RQ4 異なる言語や議会間で、アノテーター間一致性がどの程度高い水準を維持できるか。これは、アノテーションガイドラインの信頼性を示唆する。

主な発見

• 議会議事録から得た17億2000万語の分野特化型語彙を用いた追加事前学習により、下流の感情分類性能が顕著に向上した。
• 多言語XLM-R-Parlaモデルは、未学習言語や未学習議会に対しても強い性能を示し、最小限の性能低下で良好なクロスリンガル一般化を達成した。
• 他の言語から得た4倍のデータで学習した多言語モデルは、全議会で単言語モデル（ターゲット言語データのみで学習）を上回ったが、チェコ語を除くすべての議会で顕著な優位性を示した。
• ParlaSentデータセットで微調整されたXLM-R-ParlaSentモデルは、英国テストセットでマクロ-F1スコア0.665、BCSテストセットで0.708を達成し、強力なゼロショット一般化性能を示した。
• アノテーター間一致性（Cohen’s Kappa ≈ 0.65）は、アノテーションガイドラインが言語や議会間で十分に詳細かつ一貫していることを示している。
• 多言語データで学習したモデルが最も優れた性能を示した。これは、感情表現における議会間および言語間の共通パターンが分類に有益であることを示唆している。