[論文レビュー] Event Detection in Twitter Stream using Weighted Dynamic Heartbeat Graph Approach

Zafar Saeed, Rabeeh Ayaz Abbasi+2 more|arXiv (Cornell University)|Feb 22, 2019

Complex Network Analysis Techniques参考文献 27被引用数 12

ひとこと要約

本稿では、時間的周波数のずれをモデル化し、検出済みのイベントを動的に抑制することで、出現中のトピックへの感受性を高めるために、リアルタイムのTwitterストリームにおけるイベント検出のための重み付きダイナミックハートビートグラフ（WDHG）手法を提案する。この手法は、FA Cup 2012、Super Tuesday 2012、US Elections 2012のベンチマークデータセットにおいて、早期にイベント関連キーワードを検出することで、最先端の手法よりも優れた性能を発揮し、スケーラビリティと正確性を向上させた。

ABSTRACT

Tweets about everyday events are published on Twitter. Detecting such events is a challenging task due to the diverse and noisy contents of Twitter. In this paper, we propose a novel approach named Weighted Dynamic Heartbeat Graph (WDHG) to detect events from the Twitter stream. Once an event is detected in a Twitter stream, WDHG suppresses it in later stages, in order to detect new emerging events. This unique characteristic makes the proposed approach sensitive to capture emerging events efficiently. Experiments are performed on three real-life benchmark datasets: FA Cup Final 2012, Super Tuesday 2012, and the US Elections 2012. Results show considerable improvement over existing event detection methods in most cases.

研究の動機と目的

• バースト性に基づく手法がしばしば見過ごす、ノイズが多く動的変化するTwitterストリームにおける出現中の低頻度イベントを検出する課題に対処すること。
• 変化に敏感で、計算効率の良い手法を構築し、リアルタイムで変化するイベントパターンを捉えること。
• 初期検出後に高頻度キーワードを抑制することで、その後の出現中のイベントの検出を向上させることで、イベント検出の正確性を向上させること。
• 実世界のベンチマークデータセットを用いて手法を評価し、既存の最先端の手法を上回ることを示すこと。

提案手法

• 本手法は、時間間隔ごとに集約されたマイクロドキュメント（ツイート）を用いて、Twitterテキストストリームを時間的スーパードキュメントに変換する。
• 本手法は、時間間隔にわたる単語頻度と共起関係を符号化する重み付きダイナミックハートビートグラフ（WDHG）を構築する。
• ハートビートスコアは、2つの特徴（変化要因：時間経過による頻度の変化、集約中心性：グラフ内での単語の重要性）を用いて計算される。
• ルールベースの分類器がハートビートスコアに基づいてグラフをイベント候補とラベル付けするが、検出後に高頻度キーワードに対して抑制処理が施され、新たなイベントのマスキングを回避する。
• イベント候補は統合され、順位付けされて最終的な検出トピックのリストが得られる。
• 本手法は、静的バースト強度ではなく、動的シフトに注目するため、時間的周波数のずれを用いて、単語頻度の早期変化を検出する。

実験結果

リサーチクエスチョン

• RQ1 イベント検出システムは、ノイズの多いTwitterストリームにおいて、どのようにして出現中の低可視性イベントをよりよく捉えることができるか？
• RQ2 検出済みのバースト性キーワードを抑制することで、その後の出現中のイベントの検出がどの程度向上するか？
• RQ3 時間的周波数のずれを追跡するグラフベース手法は、従来のバースト性に基づく検出法よりも、リアルタイムのTwitterストリームで優れた性能を発揮できるか？
• RQ4 WDHG手法は、動的で非定常なデータを処理する中で、計算効率とスケーラビリティをどのように維持できるか？

主な発見

• WDHG手法は、FA Cup 2012、Super Tuesday 2012、US Elections 2012の3つの実世界ベンチマークデータセットにおいて、最先端の手法を上回った。
• 検出済みのバースト性キーワードを抑制することで、本手法は出現中のイベントに対する感受性を向上させ、後続の時間間隔での新しいイベントの検出を可能にした。
• 本手法は多項式時間計算量を達成しており、大規模なTwitterストリームにおける計算効率とスケーラビリティを裏付けた。
• 実証的評価により、時間的周波数のずれとハートビートスコアの活用が、イベント関連キーワードの早期検出を向上させたことが確認された。
• ハートビートスコアの統合を実行するルールベース分類器は、イベント候補の統合と順位付けに成功し、全体の検出正確性を向上させた。