[論文レビュー] Stance Classification for Rumour Analysis in Twitter: Exploiting Affective Information and Conversation Structure

Endang Wahyu Pamungkas, Valerio Basile+1 more|arXiv (Cornell University)|Jan 7, 2019

Misinformation and Its Impacts参考文献 8被引用数 18

ひとこと要約

本稿は、SNS上でのフェイクニュースの検出を目的として、会話構造と感情的特徴を統合したステークス分類モデルを提案する。このモデルは、発生中のフェイクニュースに対するユーザーの立場（支持、否定、質問、コメント）を識別することを目的としており、深層学習を用いないにもかかわらず、SemEval-2017 Task 8ベンチマークで既存の最先端手法を上回る性能を示しており、誤情報抑止の分野における構造的・感情的特徴工学の有効性を実証している。

ABSTRACT

Analysing how people react to rumours associated with news in social media is an important task to prevent the spreading of misinformation, which is nowadays widely recognized as a dangerous tendency. In social media conversations, users show different stances and attitudes towards rumourous stories. Some users take a definite stance, supporting or denying the rumour at issue, while others just comment it, or ask for additional evidence related to the veracity of the rumour. On this line, a new shared task has been proposed at SemEval-2017 (Task 8, SubTask A), which is focused on rumour stance classification in English tweets. The goal is predicting user stance towards emerging rumours in Twitter, in terms of supporting, denying, querying, or commenting the original rumour, looking at the conversation threads originated by the rumour. This paper describes a new approach to this task, where the use of conversation-based and affective-based features, covering different facets of affect, has been explored. Our classification model outperforms the best-performing systems for stance classification at SemEval-2017 Task 8, showing the effectiveness of the feature set proposed.

研究の動機と目的

• SNS上でのフェイクニュースの発生段階におけるユーザーの立場を特定する課題に取り組むこと、特に誤情報の拡散を背景にした文脈において。
• 基本的な感情分析を超えて、会話構造と感情的情報を統合することで、ステークス分類の精度を向上させること。
• 特に「否定」のようなレアクラスや、皮肉や複雑な意図といった曖昧なケースに対応できない既存システムの限界を克服すること。
• 解釈可能性と性能を両立させるために、手作業で設計された特徴に依存する、深層学習に依存しない堅牢なモデルを提供すること。
• 誤分類事例の分析を行い、皮肉、引用文の正確な特定、アノテーションにおけるクラス不均衡といった継続的な課題を特定すること。

提案手法

• 本手法は、会話ベースの特徴（例：返信の深さ、スレッド構造、返信の方向性）と、多様な感情・感情分析用語彙（例：LIWC、EmoLex、SentiStrength）から得られる感情的特徴を組み合わせた特徴行列を構築する。
• 対話行動特徴を統合し、感情的コンテンツと同意、否定、情報照会などのコミュニケーション的意図を結びつける。
• モデルは、SemEval-2017 Task 8データセットを用いて訓練された教師あり学習手法（例：SVM やロジスティック回帰）を採用し、言語的および構造的文脈を反映するように特徴を設計する。
• 異なる特徴群（構造的、感情的、対話行動）の寄与度を評価するため、特徴の重要度分析を実施する。
• 誤分類事例に対してエラー解析を実施し、皮肉、引用文、境界に近いアノテーションを焦点に、モデルの限界を特定する。
• クラス不均衡はリサンプリング技術で対処され、データセットのバランスを取ることで「否定」クラスの性能が顕著に向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 会話構造特徴は、フェイクニューススレッドにおけるステークス分類性能向上にどのように寄与するか？
• RQ2 感情的特徴（例：恐怖、驚き、信頼など）が、基本的な感情分析を超えて、ステークス検出にどの程度寄与するか？
• RQ3 手作業で設計された特徴に依存するシステムは、フェイクニュース分析におけるステークス分類で、深層学習モデルを上回ることができるか？
• RQ4 現在のステークス分類システムの主な失敗モードは何か。特に、皮肉、引用、曖昧なアノテーションに関して。
• RQ5 クラス不均衡はモデル性能にどのような影響を及ぼすか。また、特徴工学とデータバランス化によって効果的に是正できるか？

主な発見

• 提案されたモデルは、SemEval-2017 Task 8ベンチマークで最先端の性能を達成し、フェイクニュースステークス分類分野におけるこれまでに発表されたすべてのシステムを上回った。
• 会話ベースの特徴と感情的特徴の統合により分類精度が顕著に向上し、特に「支持」と「コメント」の区別において、感情的特徴が顕著な貢献を示した。
• モデルは皮肉に対して弱く、皮肉的な支持返信が「コメント」と誤分類されることがあり、感情的特徴設計における主な限界を示している。
• 元のツイートが支持的である場合でも、引用元のツイートを直接引用している場合に「コメント」と誤分類されることが頻発しており、引用コンテンツを特定する前処理の必要性が示唆された。
• 元のデータセットでは「否定」クラスがクラス不均衡のため低予測率であったが、データセットのバランスを取ることで性能が著しく向上した。これは、データ分布がモデルの成績に大きな影響を及えることを示している。
• ゴールドスタンダードアノテーションにおける混合または境界に近いケース（例：質問とコメントを同時に含む返信）が誤分類の原因となり、アノテーションの課題を露呈している。