[論文レビュー] Sub-Story Detection in Twitter with Hierarchical Dirichlet Processes

P. K. Srijith, Mark Hepple+2 more|arXiv (Cornell University)|Jun 11, 2016

Complex Network Analysis Techniques参考文献 31被引用数 4

ひとこと要約

本稿では、Twitterにおける自動的サブストーリー検出のための階層的ディリクレ過程（HDP）モデルを提案する。確率的トピックモデリングを活用し、共有される現実世界の出来事内での微細なサブトピックを特定する。HDPは、局所性に敏感なハッシュ（LSH）およびスペクトルクラスタリングを上回り、特に会話構造を統合することで、言語的重複が少ない返信に対するクラスタリング品質を向上させ、精度と再現率のバランスに優れる。

ABSTRACT

Social media has now become the de facto information source on real world events. The challenge, however, due to the high volume and velocity nature of social media streams, is in how to follow all posts pertaining to a given event over time, a task referred to as story detection. Moreover, there are often several different stories pertaining to a given event, which we refer to as sub-stories and the corresponding task of their automatic detection as sub-story detection. This paper proposes hierarchical Dirichlet processes (HDP), a probabilistic topic model, as an effective method for automatic sub-story detection. HDP can learn sub-topics associated with sub-stories which enables it to handle subtle variations in sub-stories. It is compared with state- of-the-art story detection approaches based on locality sensitive hashing and spectral clustering. We demonstrate the superior performance of HDP for sub-story detection on real world Twitter data sets using various evaluation measures. The ability of HDP to learn sub-topics helps it to recall the sub- stories with high precision. Another contribution of this paper is in demonstrating that the conversational structures within the Twitter stream can be used to improve sub-story detection performance significantly.

研究の動機と目的

• Twitter上での1つの現実世界の出来事内に複数の重複するサブストーリーが存在するという課題に対処すること。これは、標準的なストーリー検出手法が語彙の重複や低発信レートのため、これを捉えきれないためである。
• 特に、元のツイートと語彙的重複が少ない返信に対して、会話構造（例：返信スレッド）をクラスタリングプロセスに統合することで、サブストーリー検出を改善すること。
• 調整済み相互情報量（AMI）を用いた評価指標によりクラスタリング性能を評価すること。これは、偶然の一致を補正し、過剰なクラスタ数をペナルティ化するため、標準的な精度・再現率よりも信頼性が高い指標を提供する。
• HDPが階層的サブトピックを学習できることにより、既存の最先端手法と比較して、より正確で解釈可能なサブストーリー検出が可能であることを示すこと。

提案手法

• サブトピックを柔軟かつデータ駆動的にクラスタリングできるように、非パrametricベイジアントピックモデルとして階層的ディリクレ過程（HDP）を採用し、共通のメイントピック内でのサブトピックを発見する。
• ツイートストリームをドキュメントとして扱い、HDPを用いて潜在的なトピック分布を推定する。この際、モデルの階層的構造から自然にサブトピックが出現する。
• 返信ツイートを、それに対して返信しているツイートと同じクラスタに割り当てるという会話構造の統合により、言語的差異がある場合でもサブストーリーの検出を向上させる。
• 調整済み相互情報量（AMI）という相互情報量に基づく評価指標を用い、クラスタ数や偶然の一致バイアスを補正することで、クラスタリング品質を評価する。
• 複数の現実世界のTwitterデータセット（フェอร์ガソン、ロンドン暴動、オタワ銃撃事件など）を用いて、LSHとスペクトルクラスタリング（SC）という2つのベースラインとHDPを比較する。
• サブストーリーのラベルが付与された5つの公開Twitterデータセット、およびストーリー検出に使用されるデータセットを用い、多様な出来事タイプにわたる評価を確実にする。

実験結果

リサーチクエスチョン

• RQ1 語彙的重複が大きく、時間的に重複するサブストーリーが存在するTwitterストリームにおいて、HDPのような階層的トピックモデルがサブストーリー検出に有効に機能するか。
• RQ2 返信ツイートが元のツイートと語彙的重複が少ない場合に、会話構造（例：返信スレッド）を統合することで、サブストーリー検出性能がどのように向上するか。
• RQ3 調整済み相互情報量（AMI）を指標として用いた場合、HDPがLSHおよびスペクトルクラスタリングを上回るクラスタリング品質を達成するか。
• RQ4 HDPがサブトピックを学習できる能力が、解釈性の向上と別個の要約処理の必要性の低減にどの程度寄与するか。

主な発見

• HDPは、全テストデータセットで最高のFスコアを達成し、LSHおよびスペクトルクラスタリングと比較して、精度と再現率の両面でバランスが取れており、優れた性能を示した。
• HDPは、調整済み相互情報量（AMI）スコアにおいて、LSHおよびSCを顕著に上回り、偶然の一致やクラスタ数の影響を補正した高品質なクラスタリングを実現していることが示された。
• 会話構造の統合により、特に元のツイートと語彙的重複が少ない返信に対して、サブストーリー検出性能が向上した。
• HDPは、フェルガソンの混乱やロンドン暴動のような低発信率・高重複状況でも、高い精度と再現率でサブストーリーを検出できた。
• 平均して、ロンドン暴動データセットでは2時間、フェルガソンでは196秒、オタワでは55秒の実行時間であり、その複雑さを考慮しても許容可能な実行時間であった。
• モデルが解釈可能なサブトピック（例：「警察がブラウンを撃った」対「動画証拠」）を学習できることにより、追加の要約処理を経ずに人間が理解できる状態を実現した。