[論文レビュー] Rumor Detection and Classification for Twitter Data

Sardar Hamidian, Mona Diab|arXiv (Cornell University)|Nov 25, 2019

Misinformation and Its Impacts被引用数 65

ひとこと要約

この論文は、Twitterデータ上の噂を検出し分類する二段階アプローチを提案し、新規 feature と前処理戦略を導入、関心の ROC様の指標に相当する（混在した噂での F-measure >0.82 および単一噂データセットでの 84% の精度）を達成する。

ABSTRACT

With the pervasiveness of online media data as a source of information verifying the validity of this information is becoming even more important yet quite challenging. Rumors spread a large quantity of misinformation on microblogs. In this study we address two common issues within the context of microblog social media. First we detect rumors as a type of misinformation propagation and next we go beyond detection to perform the task of rumor classification. WE explore the problem using a standard data set. We devise novel features and study their impact on the task. We experiment with various levels of preprocessing as a precursor of the classification as well as grouping of features. We achieve and f-measure of over 0.82 in RDC task in mixed rumors data set and 84 percent in a single rumor data set using a two-step classification approach.

研究の動機と目的

• 広範なオンライン・マイクロブログデータにおける情報検証の必要性を喚起し、誤情報の拡散に対処する。
• 噂を検出し、それを分類する二段階のパイプラインを開発する。
• 噂に関連する分類性能を改善するための特徴量エンジニアリングと前処理戦略を検討する。
• 特徴量のグルーピングが分類結果に与える影響を評価する。

提案手法

• 噂検出とその後の分類のための二段階分類パイプラインを定義する。
• 新規特徴集合を提案し、性能への影響を検討する。
• 分類前のテキスト前処理のさまざまなレベルを試す。
• 特徴をグループ化して、精度と頑健性への組み合わせ効果を評価する。
• 標準的な Twitter の噂データセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Twitter データにおける噂を、誤情報の伝播の形として効果的に検出できるか？
• RQ2 二段階アプローチは、単一段階の方法と比べて噂の検出とその後の分類を改善するか？
• RQ3 前処理レベルと特徴量のグルーピングが分類性能に与える影響はどのようか？

主な発見

データセット	タスク / フェーズ	指標	値
Mixed rumors data set	RDC task	F-measure	over 0.82
Single rumor data set	Classification	Accuracy	84 percent

• 二段階アプローチは RDC タスクの混在噂データセットで F-measure が 0.82 を上回る。
• 二段階アプローチは単一噂データセットで 84 パーセントの精度を達成。
• 新規特徴量と前処理戦略が性能向上に寄与する。
• 特徴量のグルーピングは分類モデルの有効性に影響を与える。