[論文レビュー] Real Time Discovery of Dense Clusters in Highly Dynamic Graphs: Identifying Real World Events in Highly Dynamic Environments

Manoj K. Agarwal, Krithi Ramamritham+1 more|arXiv (Cornell University)|Jun 30, 2012

Data Management and Algorithms被引用数 11

ひとこと要約

本稿では、動的マイクロブログストリームにおける発生中の出来事のリアルタイム検出のためのアルゴリズムを提案する。この手法は、変化するグラフ内の凝集的クラスタとして出来事をモデル化する。短サイクル性質（SCP）と呼ばれる新規な短周期的性質を用いて、双連結で時間的に相関のあるキーワードクラスタを同定し、実時間で高い正確性（0.911）と再現率（0.935）を達成する。これはオフライン手法を上回り、低スペックのハードウェアでも1秒あたり5,000件以上のメッセージ処理が可能である。

ABSTRACT

Due to their real time nature, microblog streams are a rich source of dynamic information, for example, about emerging events. Existing techniques for discovering such events from a microblog stream in real time (such as Twitter trending topics), have several lacunae when used for discovering emerging events; extant graph based event detection techniques are not practical in microblog settings due to their complexity; and conventional techniques, which have been developed for blogs, web-pages, etc., involving the use of keyword search, are only useful for finding information about known events. Hence, in this paper, we present techniques to discover events that are unraveling in microblog message streams in real time so that such events can be reported as soon as they occur. We model the problem as discovering dense clusters in highly dynamic graphs. Despite many recent advances in graph analysis, ours is the first technique to identify dense clusters in massive and highly dynamic graphs in real time. Given the characteristics of microblog streams, in order to find clusters without missing any events, we propose and exploit a novel graph property which we call short-cycle property. Our algorithms find these clusters efficiently in spite of rapid changes to the microblog streams. Further we present a novel ranking function to identify the important events. Besides proving the correctness of our algorithms we show their practical utility by evaluating them using real world microblog data. These demonstrate our technique's ability to discover, with high precision and recall, emerging events in high intensity data streams in real time. Many recent web applications create data which can be represented as massive dynamic graphs. Our technique can be easily extended to discover, in real time, interesting patterns in such graphs.

研究の動機と目的

• Twitterのような高スループットのマイクロブログストリームから、リアルタイムで現実世界の発生中の出来事を検出する課題に対処すること。
• キーワードベースのトレンドトピックや従来のクラスタリング手法の限界を克服すること。これらは初期段階の出来事を見逃すか、出来事のキーワードを事前に知っている必要がある。
• 事前に定義されたクエリや長期的な人気度に依存せずに、密度が高く時間的に相関のあるキーワードグループを識別できる、スケーラブルでリアルタイムなクラスタリング手法を開発すること。
• バースト的で共起するキーワードパターンを捉えるために、新規なグラフ性質「短サイクル性質（SCP）」を活用することで、出来事検出の正確性と再現率を高めること。
• 高ボリュームのストリームでリアルタイム性能を実現するための、効率的なインクリメンタルアルゴリズムを設計し、動的グラフの維持を可能にすること。

提案手法

• マイクロブログストリームを動的グラフとしてモデル化し、ノードをキーワード、エッジをスライディングタイムウインドウ内の最新メッセージ内での共起関係として定義する。
• 短サイクル性質（SCP）を新規なグラフ的性質として導入：クラスタには長さ≤4のサイクルが少なくとも1つ存在しなければならず、これによりキーワード間の強い時間的・空間的相関が示される。
• バースト的キーワードとその共起関係のみを保持する適応的キーワードグラフ（AKG）を用い、グラフサイズを元の完全キーワードグラフ（CKG）の2％未満にまで削減する。
• ノードやエッジの追加・削除に伴うインクリメンタルクラスタリングアルゴリズムを適用し、双連結成分かつSCPを満たすクラスタを検出・維持することで、リアルタイムでの更新を可能にする。
• バースト性、クラスタ密度、時間的整合性に基づき、イベントの優先順位を付けるための新規関数を用いてクラスタをランク付けする。
• メッセージを固定時間区間（量子サイズβ）ごとに処理し、各量子の終了時にクラスタ発見を実行することで、応答性と効率性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 高スループットのマイクロブログストリームから、リアルタイムで凝集的で時間的に相関のあるキーワードクラスタを信頼性高く検出できるか？
• RQ2 短サイクル性質（SCP）は、動的グラフにおける発生中の出来事の検出に、強固で効率的な指標として機能するか？
• RQ3 提案手法のリアルタイムクラスタリング手法は、オフライン手法や従来のキーワードベース手法と比較して、正確性、再現率、スケーラビリティにおいて優れているか？
• RQ4 適応的キーワードグラフ（AKG）を用いることで、検出精度を損なわず計算コストをどれほど削減できるか？
• RQ5 パラメータ設定や出来事の強度の変動に対して、アルゴリズムはどれほど安定的で頑健か？

主な発見

• 提案手法は、実世界のマイクロブログデータ上で、正確性0.911、再現率0.935を達成し、オフラインクラスタリング手法を顕著に上回った。
• 実時間の出来事クラスタのほぼすべてに短サイクル性質（SCP）が存在しており、これがコアな検出基準としての有効性が裏付けられた。
• 低スペックのマシンでも1秒あたり5,000件以上のメッセージを処理でき、強力なスケーラビリティとリアルタイム性能を示した。
• 適応的キーワードグラフ（AKG）を用いることで、エッジ数が元のCKGの2％未満にまで削減され、計算コストが著しく削減された。
• 平均クラスタサイズは5〜7ノード前後で安定しており、異なるパラメータ設定でも発見された出来事の数に一貫性が見られた。これはアルゴリズムの頑健性を示している。
• 主流のニュースメディアやトレンドトピックでは捉えきれない、低ポピュラリティだが時間的に整合性のある出来事も、本手法により正常に検出された。