[論文レビュー] Incorporating Count-Based Features into Pre-Trained Models for Improved Stance Detection

Anushka Prakash, Harish Tayyar Madabushi|arXiv (Cornell University)|Oct 18, 2020

Sentiment Analysis and Opinion Mining参考文献 23被引用数 9

ひとこと要約

この論文は、RoBERTaに学習された多層パーセプトロン（MLP）を介してカウントベースの特徴——特にTF-IDF表現——を統合する新しいアーキテクチャを提案する。これにより、SNSにおけるステークス検出の性能が向上する。手作業で作成された特徴（例：'fake'、'not true'）を用いることで、RumourEval 2019データセットにおいて、特に性能が低かった'Deny'クラスの性能が向上し、最先端のF1スコア63.94を達成した。

ABSTRACT

The explosive growth and popularity of Social Media has revolutionised the way we communicate and collaborate. Unfortunately, this same ease of accessing and sharing information has led to an explosion of misinformation and propaganda. Given that stance detection can significantly aid in veracity prediction, this work focuses on boosting automated stance detection, a task on which pre-trained models have been extremely successful on, as on several other tasks. This work shows that the task of stance detection can benefit from feature based information, especially on certain under performing classes, however, integrating such features into pre-trained models using ensembling is challenging. We propose a novel architecture for integrating features with pre-trained models that address these challenges and test our method on the RumourEval 2019 dataset. This method achieves state-of-the-art results with an F1-score of 63.94 on the test set.

研究の動機と目的

• SNSにおけるステークス検出の性能、特に'Deny'のような性能が低かったクラスの性能を向上させるために、手作業で作成したカウントベースの特徴を事前学習モデルに統合すること。
• 浅い特徴ベースのモデルとRoBERTaのような深層事前学習モデルをアンサンブル化する課題に取り組み、過学習や情報損失を引き起こすのを防ぐこと。
• タスク固有の特徴情報を保持しつつ、RoBERTaの文脈表現と統合できる効果的なアーキテクチャを開発すること。
• 否定や否定の兆候（例：'not true'）といった、ステークス関連の語彙的パターンを明示的にモデル化することで、純粋な文脈モデル化を超えて分類性能が向上するかを検証すること。
• 皮肉なコメントや疑問文のような曖昧なケースにおける誤分類を減らすために、特徴ベースと文脈ベースの信号のバランスを取ること。

提案手法

• 2ストリームアーキテクチャを採用：1つのストリームはRoBERTaを用いて文脈表現を抽出し、もう1つのストリームは同じテキストのTF-IDF特徴を多層パーセプトロン（MLP）で処理する。
• TF-IDF特徴は、返信投稿のユニグラムおよびビグラム表現から得られ、特定のステークスと強く関連する語（例：'Deny'に対して'fake'、'not true'）に焦点を当てる。
• MLPはTF-IDF特徴に対して事前に独立して学習させ、ステークス関連のパターンを捉える抽象表現を学習した後、RoBERTaの出力と統合する。
• 最終的な予測は、RoBERTaの分類ヘッド出力とMLP出力を連結し、最終的な分類器層に通すことで得られる。
• モデルはRumourEval 2019データセット上でエンドツーエンドで微調整され、MLP部は統合前に事前学習されており、共同学習中の過学習を回避する。
• 直接的な特徴アンサンブルを避ける設計となっており、ノイズの導入を防ぐために、タスク固有の情報を保持する低次元の特徴表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 TF-IDF表現のようなカウントベースの特徴が、特に'Deny'のような困難なクラスに対して、RoBERTaのような事前学習モデルのステークス検出性能を向上させられるか。
• RQ2 過学習や情報損失を引き起こさずに、手作業で作成した特徴を深層文脈モデルと効果的に統合する方法は何か。
• RQ3 訓練済みMLPを用いて特徴の抽象表現を学習することで、直接的な特徴統合や元の特徴入力に比べて一般化性能が向上するか。
• RQ4 否定や否定の兆候といった語彙的手がかりが、ステークス分類にどの程度寄与するか、そして特徴工学によって信頼性高く捉えられるか。
• RQ5 特徴ベースモデルの統合が、'Support'と'Comment'のような類似クラスを区別する能力にどのように影響するか。

主な発見

• 提案されたアンサンブルモデルは、RumourEval 2019のテストセットでマクロ平均F1スコア63.94を達成し、新たな最先端の結果を記録した。
• 従来のモデルが苦戦していた'Deny'クラスの性能が顕著に向上した。これは、'fake' や 'not true' といった否定関連キーワードの効果的なモデル化によるものである。
• 混同行列の結果、'Deny'インスタンスの誤分類が減少したが、否定語が含まれる'Comment'投稿が誤って'Deny'と分類されるケースが時折発生した。
• 誤分類分析から、モデルが特定の語彙的手がかり（例：'why' は 'Query' に対して、'fake' は 'Deny' に対して）を過剰に重視することがあり、皮肉や曖昧な文脈では誤分類を引き起こすことが判明した。
• URLを含む投稿の分類に苦労しており、URLからの情報欠落が性能を制限していると考えられる。また、ターゲットの文脈が欠落しているため、元の投稿のステークスを頻繁に誤って予測している。
• 生の特徴ではなく、抽象的なMLP表現を用いた特徴統合によりノイズが低減され、一般化性能が向上した。直接アンサンブルや次元削減手法に比べて優れた性能を示した。