[論文レビュー] Statistics of collective human behaviors observed in blog entries

Yukie Sano, Kimmo Kaski+1 more|ArXiv.org|Dec 10, 2009

Complex Systems and Time Series Analysis参考文献 1被引用数 3

ひとこと要約

本稿では、ブログの単語頻度の変動が、非ポisson的単語ダイナミクスではなく、活動中のブロガー数の日々の変動に起因することを提案する。著者らは、周期的な変動を伴う時間に依存するポアソン過程としてブログ参加者数をモデル化し、標準偏差が平均単語頻度に対して線形に増加することを示す理論的関係を導出する——実証的に、傾き0.11、曲がり点が82回出現する地点で確認された。このモデルにより、製品発売などの外部イベントがブログ活動の異常なスパイクから検出可能となる。

ABSTRACT

Collective human behaviors are analyzed using the time series of word appearances in blogs. As expected, we confirm that the number of fluctuations is approximated by a Poisson distribution for very-low-frequency words. A non-trivial scaling roperty is confirmed for more-frequent words. We propose a simple model that shows that the fluctuations in the number of contributors is playing the central role in this non-Poissonian behavior.

研究の動機と目的

• 高頻度ブログ単語出現における非ポアソン的変動の統計的起源を理解すること。
• 観察されたポアソン統計からの逸脱が、内在的な単語ダイナミクスか、外部のシステムレベル要因に起因するかを特定すること。
• ブログデータにおける実証的σ–μ（標準偏差対平均）スケーリングを説明する理論的モデルを構築すること。
• モデルを応用し、製品発売などの外部イベントを、異常なブログ活動のスパイクから検出すること。

提案手法

• 時間依存率$ c_j(t) $をパラメータとする、日々の変動を伴う時間に依存するポアソン過程として、ブロガー数をモデル化する。
• 時間窓$ \big[ N - \bigtriangleup, N + \bigtriangleup \big] $におけるポアソン過程の重ね合わせを導入し、貢献者数の日々の変動を考慮する。
• 異なる率をとるポアソン分布の重み付き平均として確率密度$ p_j(F_j) $を導出し、分散の閉形式表現を導出する。
• 標準偏差を$ \sigma_j \approx \sqrt{\langle F_j \rangle \left(1 + \langle F_j \rangle \frac{\Delta(\Delta+1)}{3N^2} \right)} $として近似し、ポアソン的スケーリングから線形スケーリングへの遷移を示す。
• 実証的関係$ \sigma = 0.11\langle F \rangle $を用いてモデルをキャリブレーションし、$ \Delta/N = 0.19 $とし、実際のブログデータと照合する。
• 週次周期を除去するため7日間移動平均を適用し、イベント固有の$ 2\sigma $しきい値を計算して、ベースラインからの顕著な逸脱を検出する。

実験結果

リサーチクエスチョン

• RQ1 低頻度単語がポアソン的行動を示す一方で、高頻度ブログ単語がなぜポアソン統計から逸脱するのか？
• RQ2 ブログデータにおける標準偏差と平均単語頻度の観察された線形関係を説明するメカニズムは何か？
• RQ3 ブロガー数の日々の変動が、ブログ単語頻度における非ポアソン的分散スケーリングを説明できるか？
• RQ4 導出された統計モデルは、製品発売などの外部イベントを、異常なブログ活動のスパイクから検出可能か？

主な発見

• 単語頻度の変動における標準偏差は、平均に対して線形に増加し、傾き0.11である。これは非ポアソン的分散構造を示唆する。
• σ–μ関係における曲がり点は、平均頻度82回の地点に位置し、$ \langle F \rangle_c = 3N^2 / \Delta^2 $に対応する。この式から$ \Delta/N = 0.19 $が得られる。
• ポアソン統計からの観察された逸脱は、主に時間に依存する貢献者数の変動に起因する。内在的な単語ダイナミクスやスパム行為によるものではない。
• モデルは、製品発売やメディア報道といった外部イベントを、$ 2\sigma $しきい値を超えるスパイクを検出することで、成功裏に検出可能である。
• ブログスパイクのタイミングが報道発表やテレビ出演と一致するため、メディアの影響を定量的に評価可能である。
• このフレームワークは一般化可能であり、日本語ブログに限らず、他の言語やブログデータソースへの応用が可能である。