[論文レビュー] Call Attention to Rumors: Deep Attention Based Recurrent Neural Networks for Early Rumor Detection

Tong Chen, Lin Wu+4 more|arXiv (Cornell University)|Apr 20, 2017

Misinformation and Its Impacts参考文献 33被引用数 20

ひとこと要約

本稿では、時系列的なSNS投稿から時間的表現を学習するため、LSTM内にソフトアテンション機構を活用した深層アテンションベースの再帰ニューラルネットワーク、CallAtRumorsを提案する。高頻度のテキスト複製にもかかわらず、顕著で特徴的な特徴に的を絞ることで、最先端の手法を上回る性能を発揮し、WeiboではF-measure 0.8672、サンプルデータセットでは0.9061を達成。平均して人間の事実確認より最大20.47時間も早く検出可能である。

ABSTRACT

The proliferation of social media in communication and information dissemination has made it an ideal platform for spreading rumors. Automatically debunking rumors at their stage of diffusion is known as extit{early rumor detection}, which refers to dealing with sequential posts regarding disputed factual claims with certain variations and highly textual duplication over time. Thus, identifying trending rumors demands an efficient yet flexible model that is able to capture long-range dependencies among postings and produce distinct representations for the accurate early detection. However, it is a challenging task to apply conventional classification algorithms to rumor detection in earliness since they rely on hand-crafted features which require intensive manual efforts in the case of large amount of posts. This paper presents a deep attention model on the basis of recurrent neural networks (RNN) to learn extit{selectively} temporal hidden representations of sequential posts for identifying rumors. The proposed model delves soft-attention into the recurrence to simultaneously pool out distinct features with particular focus and produce hidden representations that capture contextual variations of relevant posts over time. Extensive experiments on real datasets collected from social media websites demonstrate that (1) the deep attention based RNN model outperforms state-of-the-arts that rely on hand-crafted features; (2) the introduction of soft attention mechanism can effectively distill relevant parts to rumors from original posts in advance; (3) the proposed method detects rumors more quickly and accurately than competitors.

研究の動機と目的

• 高頻度のテキスト複製が見られる中で、人的特徴工学が現実的ではないSNSにおける早期フェイクニュース検出の課題に対処すること。
• 時系列的な投稿における長距離の時間的依存関係を捉える柔軟でエンドツーエンドの深層学習モデルの開発。
• 進化するフェイクニュース議論における最も関連性の高い語句やフレーズに的を絞って注目することで、検出の正確性と早期性を向上させること。
• 大規模でテキストが重複するSNSデータに対して、手作業による特徴抽出に依存することを減らしながらも、高い性能を維持すること。

提案手法

• モデルは、時系列的なSNS投稿を文脈的な隠れ表現にエンコードするために双方向LSTMを用いる。
• LSTM出力に対してソフトアテンション機構を適用し、フェイクニュース検出に有用な関連性に基づいて、異なる時刻ステップに重みを動的に割り当てる。
• アテンション重みは、LSTMの隠れ状態を入力とする全結合ネットワークによって計算され、顕著なフレーズに注目し、重複コンテンツに起因するノイズを低減可能となる。
• 注目された表現はプーリングされ、最終的な分類層に渡され、投稿の系列がフェイクニュースであるか否かを予測する。
• モデルは、時間方向にバックプロパゲーションを用いたクロスエントロピー損失関数を用いてエンドツーエンドで学習される。
• テキスト特徴は、投稿のTF-IDFベクトルとして表現され、次元削減を図りながらも意味的コンテンツを保持する。

実験結果

リサーチクエスチョン

• RQ1 人的特徴工学に依存する従来手法と比較して、深層アテンションベースのRNNモデルは、フェイクニュースをより早期かつ正確に検出できるか？
• RQ2 ソフトアテンション機構は、重複するSNS投稿の中から特徴的なキーフレーズを特定・強調するのにどの程度効果的か？
• RQ3 フェイクニュースが広がる際に一般的な高頻度のテキスト複製の状況下でも、モデルの性能はどの程度維持されるか？
• RQ4 モデルの検出の早期性は、人間の事実確認のタイムラインや他の最先端手法と比較してどの程度優れているか？

主な発見

• Weiboデータセットでは、CallAtRumorsは精度87.10%、再現率86.34%、F-measure 0.8672を達成し、最先端手法を上回った。
• 1,193件のフェイクニュースと6,387件の非フェイクニュースを含むサンプルデータセットでは、CallAtRumorsのF-measureは0.9061であり、CERTの0.8801を上回った。
• モデルは、フェイクニュース発生後平均20.47時間で検出されたが、人間の事実確認の平均時間（54〜72時間）よりも顕著に早期であった。
• 学習データの10〜20%の条件下でも、CallAtRumorsはTwitterおよびWeibo両データセットでML-GRUより精度で5%、再現率で4%高い性能を示し、優れた早期検出能力を示した。
• アテンション可視化により、モデルが特徴的なキーワード（例：'disqualified'、'Trump'）を効果的に強調していることが確認された一方、繰り返しの多い冗長なフレーズは低減されていることが分かった。
• アテンション機構により、テキストの重複に対してモデルの頑健性が向上し、イベント内に80%の投稿が重複している場合でも、優れた特徴抽出が可能となった。