[論文レビュー] Stance Classification in Rumours as a Sequential Task Exploiting the Tree Structure of Social Media Conversations

Arkaitz Zubiaga, Elena Kochkina+3 more|arXiv (Cornell University)|Sep 28, 2016

Misinformation and Its Impacts参考文献 27被引用数 65

ひとこと要約

本稿では、会話構造を考慮したツイートの順序付きステークホルダ分類アプローチを提案する。リプライスレッドを木構造のシーケンスとしてモデル化し、Linear-ChainおよびTree条件付き確率場（CRF）を用いて会話構造を活用する。非順序的アプローチに比べ、全木構造を活用することでマクロ平均F1スコアが顕著に向上し、Tree CRFは8つの報道ニュースデータセットにおいてLinear CRFおよびベースラインモデルを上回る性能を示した。

ABSTRACT

Rumour stance classification, the task that determines if each tweet in a collection discussing a rumour is supporting, denying, questioning or simply commenting on the rumour, has been attracting substantial interest. Here we introduce a novel approach that makes use of the sequence of transitions observed in tree-structured conversation threads in Twitter. The conversation threads are formed by harvesting users' replies to one another, which results in a nested tree-like structure. Previous work addressing the stance classification task has treated each tweet as a separate unit. Here we analyse tweets by virtue of their position in a sequence and test two sequential classifiers, Linear-Chain CRF and Tree CRF, each of which makes different assumptions about the conversational structure. We experiment with eight Twitter datasets, collected during breaking news, and show that exploiting the sequential structure of Twitter conversations achieves significant improvements over the non-sequential methods. Our work is the first to model Twitter conversations as a tree structure in this manner, introducing a novel way of tackling NLP tasks on Twitter conversations.

研究の動機と目的

• 各ツイートを独立した単位として扱う手法の限界を是正し、会話的文脈を無視することを防ぐ。
• ツイッターのリプライスレッドの順序的構造をモデル化することで、ステークホルダ分類の性能が向上するかを調査する。
• 順序付き分類モデルとしてLinear-Chain CRFとTree CRFの2つを用い、フェイクニュースのツイッター会話におけるステークホルダ分類に有効であるかを評価する。
• 会話の全木構造を捉えることで、線形ブランチのみをモデル化する場合に比べ、性能が向上するかを検証する。
• 会話的構造の価値を実証することで、今後のソーシャルメディアにおけるNLPタスクの基盤を提供する。

提案手法

• 著者らは、元のツイートに対するリプライを収集することで、ネストされた木構造のリプライスレッドを形成した。
• ステークホルダ分類タスクを、会話木内の各ツイートのステークホルダ（支持、否定、質問、コメント）をその位置に基づいて予測する順序ラベル付け問題として定式化した。
• 2つの順序付き分類器を採用した：Linear-Chain CRFは各リプライブランチを線形シーケンスとして扱い、Tree CRFは全会話木構造をモデル化する。
• モデルはローカル特徴（例：ツイート内容、語彙的手がかり）と、会話構造に沿ったステークホルダタイプ間の遷移確率を活用した。
• 性能評価は、8つの現実世界の報道ニュースイベントでマイクロ平均およびマクロ平均F1スコアを用いた。
• 非順序的ベースライン（最大エントロピー法、非順序的CRF）と同等の特徴で公平な比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 ツイートを独立した単位として扱うのではなく、リプライスレッドの順序的構造をモデル化することで、ステークホルダ分類性能が向上するか？
• RQ2 会話の全木構造は、線形ブランチのみをモデル化するのと比べ、より情報量が多いか？
• RQ3 Tree CRFの性能は、異なるフェイクニュースイベントにおいてLinear-Chain CRFおよび非順序的モデルと比べてどうか？
• RQ4 会話的構造を活用することで、少数派のステークホルダクラス（例：否定）の分類性能はどの程度向上するか？
• RQ5 木構造の会話から得られる順序モデリングは、ソーシャルメディアにおける他のNLPタスクに一般化可能か？

主な発見

• Tree CRFは非順序的モデルに比べ、マクロ平均F1スコアが顕著に高く、少数派ステークホルダクラスの分類性能が向上している。
• 会話木の10段階の深さのうち7段階で、Tree CRFはLinear-Chain CRFを上回った。これは、グローバルな構造的文脈の価値を示している。
• クラスの不均衡のためマイクロ平均F1スコアは各モデルで類似していたが、マクロ平均F1スコアは順序付きモデル、特にTree CRFが一貫した改善を示した。
• 本アプローチは、特に否定や質問といった少数派クラスにおいて、分類性能を向上させた。
• 結果から、会話的構造、特に全木構造が、ローカルなツイート特徴を超えた有益な順序的文脈を含んでいることが明らかになった。
• 本研究は、ソーシャルメディアの会話構造を活用したステークホルダ分類の新規フレームワークを確立し、ユーザ生成コンテンツにおける順序モデリングの可能性を示した。