[論文レビュー] Multilingual Stance Detection: The Catalonia Independence Corpus

Elena Zotova, Rodrigo Agerri+2 more|arXiv (Cornell University)|Mar 31, 2020

Sentiment Analysis and Opinion Mining参考文献 25被引用数 6

ひとこと要約

本稿では、カタルーニャ独立問題をテーマとした、カタロニア語とスペイン語のバランスの取れた多言語ステークス検出データセット「カタルーニャ独立コロナス（CIC）」を紹介する。半自動のユーザベースのアノテーション手法を用いることで、人的作業を削減し、クラスの不均衡を是正し、fastTextベースの線形分類器がSVMやRNNモデルを上回る最先端の結果をTW-10データセットで達成した。

ABSTRACT

Stance detection aims to determine the attitude of a given text with respect to a specific topic or claim. While stance detection has been fairly well researched in the last years, most the work has been focused on English. This is mainly due to the relative lack of annotated data in other languages. The TW-10 Referendum Dataset released at IberEval 2018 is a previous effort to provide multilingual stance-annotated data in Catalan and Spanish. Unfortunately, the TW-10 Catalan subset is extremely imbalanced. This paper addresses these issues by presenting a new multilingual dataset for stance detection in Twitter for the Catalan and Spanish languages, with the aim of facilitating research on stance detection in multilingual and cross-lingual settings. The dataset is annotated with stance towards one topic, namely, the independence of Catalonia. We also provide a semi-automatic method to annotate the dataset based on a categorization of Twitter users. We experiment on the new corpus with a number of supervised approaches, including linear classifiers and deep learning methods. Comparison of our new corpus with the with the TW-1O dataset shows both the benefits and potential of a well balanced corpus for multilingual and cross-lingual research on stance detection. Finally, we establish new state-of-the-art results on the TW-10 dataset, both for Catalan and Spanish.

研究の動機と目的

• 英語以外の言語、特にカタルーニャ語やスペイン語のようなリソースが乏しい言語において、バランスの取れた多言語ステークス検出データセットが不足しているという問題に対処すること。
• ステークス検出における人的アノテーションの負担を軽減するため、半自動でユーザベースのアノテーション手法を提案すること。
• 一貫したクラス分布を持つバランスの取れたデータセットを用いることで、多言語およびクロスリンガルなステークス検出のパフォーマンスを向上させること。
• カタルーニャ語およびスペイン語の両方において、IberEval 2018のTW-10データセットで新たな最先端の結果を確立すること。
• データセットおよびコードを公開することで、再現可能でアクセス可能な研究を促進すること。

提案手法

• 著者らは、Twitterユーザ（例えば、政治的立場や活動など）を分類することで、そのツイートのステークスラベルを推定する半自動のアノテーションパイプラインを開発した。
• ユーザのカテゴリを用いて、全ユーザグループにステークスラベル（FAVOR、AGAINST、NEUTRAL）を割り当てることで、ツイートごとの人的ラベル付けの必要性を顕著に低減した。
• 同様の政治的立場を持つユーザは、特定のトピックに対して一貫した見解を示すという仮定を活用した。
• データセットは、カタルーニャ語およびスペイン語の両言語において、ステークスクラスのバランスの取れた分布を持つように構築された。
• 著者らは、スーパービズド学習モデル（SVM、fastText）およびディープラーニングモデル（RNN）を用いて、新規および既存のデータセットにおけるパフォーマンスを評価した。
• モデルの汎化性能を向上させるために、特に短くノイズの多いツイートに対応するため、洗練された前処理と正規化処理を実施した。

実験結果

リサーチクエスチョン

• RQ1 半自動のユーザベースのアノテーション手法は、人的作業の削減とクラスのバランスの改善を図りながら、高品質なステークスラベル付きデータを生成できるか？
• RQ2 バランスの取れた多言語ステークス検出データセットは、クロスリンガルおよび多言語設定におけるモデルパフォーマンスにどのように影響するか？
• RQ3 fastText埋め込みを用いた線形分類器は、より複雑なディープラーニングモデル（例：RNN）を上回る性能を示すのか？
• RQ4 新規に構築されたカタルーニャ独立コロナス（CIC）データセットのパフォーマンスは、TW-10のような既存のベンチマークと比較してどうなるか？
• RQ5 既存のデータセットにおけるクラスの不均衡は、頑健な多言語ステークス検出システムの開発をどの程度妨げているか？

主な発見

• 提案された半自動のユーザベース手法は、人的アノテーションとの比較において、スペイン語で約5%、カタルーニャ語で約15%の誤差率を達成し、アノテーションの課題にもかかわらず、妥当な信頼性を示した。
• 新規に構築されたカタルーニャ独立コロナス（CIC）は、極めて不均衡なTW-10データセットとは対照的に、バランスの取れたクラス分布を示しており、モデル評価の公平性を高めた。
• fastTextベースの線形分類器は、CICおよびTW-10の両方のデータセットでSVMおよびRNNモデルを上回り、カタルーニャ語およびスペイン語の両方で新たな最先端の結果を達成した。
• 実験の結果、バランスの取れたCICコーパスは、不均衡なデータセットと比較して、言語間でより一貫性があり信頼性の高いモデルパフォーマンスをもたらすことが示された。
• 結果から、クラスの不均衡がモデルの汎化性能に悪影響を及えることが確認され、バランスの取れたデータが多言語ステークス検出のパフォーマンスを顕著に向上させることを裏付けた。
• 著者らは、TW-10データセットで新たな最先端のF1スコアを確立し、事前処理および埋め込み戦略の有効性を実証した。