[论文解读] Multilingual Stance Detection: The Catalonia Independence Corpus

Elena Zotova, Rodrigo Agerri+2 more|arXiv (Cornell University)|Mar 31, 2020

Sentiment Analysis and Opinion Mining参考文献 25被引用 6

一句话总结

本文介紹了加泰羅尼亞獨立語料庫（CIC），一個針對加泰羅尼亞獨立議題的平衡、多語言立場檢測數據集，涵蓋加泰羅尼亞語和西班牙語。作者採用半自動的基於使用者的註解方法，減少人工工作量與類別不平衡，並在TW-10數據集上取得最尖端成果，其中基於fastText的線性分類器表現優於SVM與RNN模型。

ABSTRACT

Stance detection aims to determine the attitude of a given text with respect to a specific topic or claim. While stance detection has been fairly well researched in the last years, most the work has been focused on English. This is mainly due to the relative lack of annotated data in other languages. The TW-10 Referendum Dataset released at IberEval 2018 is a previous effort to provide multilingual stance-annotated data in Catalan and Spanish. Unfortunately, the TW-10 Catalan subset is extremely imbalanced. This paper addresses these issues by presenting a new multilingual dataset for stance detection in Twitter for the Catalan and Spanish languages, with the aim of facilitating research on stance detection in multilingual and cross-lingual settings. The dataset is annotated with stance towards one topic, namely, the independence of Catalonia. We also provide a semi-automatic method to annotate the dataset based on a categorization of Twitter users. We experiment on the new corpus with a number of supervised approaches, including linear classifiers and deep learning methods. Comparison of our new corpus with the with the TW-1O dataset shows both the benefits and potential of a well balanced corpus for multilingual and cross-lingual research on stance detection. Finally, we establish new state-of-the-art results on the TW-10 dataset, both for Catalan and Spanish.

研究动机与目标

• 為解決非英語語言中缺乏平衡、多語言立場檢測數據集的問題，特別是針對加泰羅尼亞語與西班牙語等資源較少的語言。
• 透過提出一種半自動、基於使用者的註解方法，減少立場檢測中的人工註解負擔。
• 透過提供具有穩定類別分佈的平衡數據集，提升多語言與跨語言立場檢測的表現。
• 在IberEval 2018 TW-10數據集上，為加泰羅尼亞語與西班牙語建立新的最尖端成果。
• 透過公開發布數據集與程式碼，促進可重現且易取得的研究。

提出的方法

• 作者開發了一套基於分類Twitter使用者（例如，依政治立場或活動類型）的半自動註解流程，以推斷其推文的立場標籤。
• 利用使用者分類來為整個使用者群組分配立場標籤（支持、反對、中立），大幅減少逐則推文的手動標註需求。
• 該方法依賴於「具有相似政治立場的使用者，通常會對特定議題表達一致觀點」的假設。
• 數據集在加泰羅尼亞語與西班牙語兩種語言中，均實現了立場類別的平衡分佈。
• 作者應用監督式學習模型，包括線性分類器（SVM、fastText）與深度學習模型（RNN），以評估在新舊數據集上的表現。
• 預處理步驟包含大量清理與標準化，以提升模型的泛化能力，特別是針對短篇、雜訊多的推文。

实验结果

研究问题

• RQ1 半自動、基於使用者的註解方法是否能以較少的人工工作量與更好的類別平衡，產生高品質的立場標註資料？
• RQ2 具有平衡特徵的多語言立場檢測數據集，如何影響跨語言與多語言設定下的模型表現？
• RQ3 在多語言立場檢測任務中，基於fastText嵌入的線性分類器是否表現優於更複雜的深度學習模型（如RNN）？
• RQ4 在新建立的加泰羅尼亞獨立語料庫上，其表現與TW-10等既有基準數據集相比如何？
• RQ5 既有數據集中類別不平衡的程度，對發展穩健的多語言立場檢測系統有多大程度的阻礙作用？

主要发现

• 所提出的半自動基於使用者的註解方法，在與人工註解對照時，西班牙語的錯誤率約為5%，加泰羅尼亞語約為15%，顯示在面對註解挑戰時仍具可接受的可靠性。
• 新建立的加泰羅尼亞獨立語料庫（CIC）具有平衡的類別分佈，與高度不平衡的TW-10數據集形成對比，有利於更公平的模型評估。
• fastText線性分類器在CIC與TW-10數據集上均優於SVM與RNN模型，為加泰羅尼亞語與西班牙語均創下新的最尖端成果。
• 實驗結果顯示，平衡的CIC語料庫能帶來跨語言更一致且可靠的模型表現，相較於不平衡數據集更具優勢。
• 結果確認類別不平衡會負面影響模型泛化能力，而平衡資料顯著提升多語言立場檢測的表現。
• 作者在TW-10數據集上建立了新的最尖端F1分數，證實其預處理與嵌入策略的有效性。