[論文レビュー] Universal and Distinct Properties of Communication Dynamics: How to Generate Realistic Inter-event Times

Pedro O. S. Vaz de Melo, Christos Faloutsos+3 more|arXiv (Cornell University)|Mar 19, 2014

Complex Network Analysis Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、自己フィードバックメカニズムに基づき、最大2つのパラメータで人間の通信ダイナミクスにおける現実的なイベント間隔を生成する、シンプルなポイント過程モデルである自己フィードバック過程（SFP）を提案する。SFPは、8つの多様なデータセットにわたる4つの普遍的パターン——傾き ≈1 のべき乗則オッズ比、連続する間隔間の時間的相関、個々のIEDの二次元正規分布、および依存性をモデル化する際のi.i.d.故障——を捉え、合成データ生成と異常検出を可能にする。

ABSTRACT

With the advancement of information systems, means of communications are becoming cheaper, faster and more available. Today, millions of people carrying smart-phones or tablets are able to communicate at practically any time and anywhere they want. Among others, they can access their e-mails, comment on weblogs, watch and post comments on videos, make phone calls or text messages almost ubiquitously. Given this scenario, in this paper we tackle a fundamental aspect of this new era of communication: how the time intervals between communication events behave for different technologies and means of communications? Are there universal patterns for the inter-event time distribution (IED)? In which ways inter-event times behave differently among particular technologies? To answer these questions, we analyze eight different datasets from real and modern communication data and we found four well defined patterns that are seen in all the eight datasets. Moreover, we propose the use of the Self-Feeding Process (SFP) to generate inter-event times between communications. The SFP is extremely parsimonious point process that requires at most two parameters and is able to generate inter-event times with all the universal properties we observed in the data. We show the potential application of SFP by proposing a framework to generate a synthetic dataset containing realistic communication events of any one of the analyzed means of communications (e.g. phone calls, e-mails, comments on blogs) and an algorithm to detect anomalies.

研究の動機と目的

• 異なる通信技術（電子メール、SMS、電話通話、ウェブベースの相互作用など）におけるイベント間隔（IED）の普遍的かつ特異な統計的性質を特定すること。
• 実際の通信データにおける観察されたIEDパターンを再現できる最小限の、シンプルな生成モデルを開発すること。
• 普遍的およびシステム固有の通信ダイナミクスを保持する合成データセットの生成を可能にすること。
• 異常検出などの実用的応用（例：自動SMSサービス、削除されたブログ投稿、YouTubeコメント欄の炎上）を示すこと。

提案手法

• 自己フィードバック過程（SFP）を提案。SFPは、指数分布から抽出されたランダムな遅延を経て、直前のイベント間隔に基づく遅延フィードバックメカニズムによりイベント間隔を生成するポイント過程である。
• フィードバックループにランダム遅延εを導入することでSFPをSFP*に変更し、人工的な相関を低減し、実データの相関（0.43 対 0.70）に近づける。
• 複数受信者を想定したSFPの拡張において、受信者数と遅延を指数分布からサンプリングすることで、SMSバースト行動を模倣する。
• 電話通話に適応するため、ダイヤリングおよび接続時間のための定数オーバーヘッドθを追加し、下限付近の適合性を向上させる。
• SFPモデルを用いて、周辺のべき乗則分布、時間的相関、二次元正規分布構造を保持する合成通信イベントシーケンスを生成する。
• 合成モデルを用いて、自動SMSサービス、削除されたブログ投稿、YouTubeコメント欄の炎上などの異常を検出する応用を実施する。

実験結果

リサーチクエスチョン

• RQ1 電子メール、SMS、電話通話、ウェブベースの相互作用など、多様な通信技術において、イベント間隔に普遍的な統計的パターンが存在するか？
• RQ2 連続するイベント間隔間の時間的相関は、通信ダイナミクスにおけるi.i.d.生成仮定をどのように挑戦するか？
• RQ3 SFPのような最小限の2パラメータモデルが、実通信データで観察された普遍的性質を再現できるか？
• RQ4 SFPモデルを、複数受信者やダイヤリング遅延といったシステム固有の行動を捉えるためにどの程度拡張できるか？
• RQ5 SFPによって生成された合成データは、実通信システムにおける異常検出に効果的に応用できるか？

主な発見

• 分析対象の8つのデータセット（電子メール、SMS、電話通話、ウェブベースのコメント）すべてが、傾きρ ≈ 1 のべき乗則オッズ比分布を示している。
• 実データにおける連続するイベント間隔間の平均ピアソン相関係数は約0.4であり、強い時間的依存性を示している。
• SFP*モデルは人工的相関を0.43に低減し、実データとよく一致している一方で、べき乗則の傾きρ ≈ 1 を保持している。
• 異なるシステム間の個々のイベント間隔シーケンスの同時分布は、二次元正規分布でうまくモデル化できる。
• SFPモデルは、周辺のべき乗則分布、時間的相関、二次元正規分布構造を再現する合成データを効果的に生成でき、異常検出（例：自動SMSサービス、削除されたコンテンツ、炎上）を正確に実行できる。
• 受信者遅延の追加や、ダイヤリングオーバーヘッドθの導入といったSFPの修正は、SMSバーストや電話通話のセットアップ遅延といったシステム固有の行動を正確に再現している。