[논문 리뷰] Statistics of collective human behaviors observed in blog entries

Yukie Sano, Kimmo Kaski외 1명|ArXiv.org|2009. 12. 10.

Complex Systems and Time Series Analysis참고 문헌 1인용 수 3

한 줄 요약

이 논문은 블로그 어휘 빈도의 변동성이 비포isson 분포의 어휘 역학적 특성보다는 매일 활동하는 블로거 수의 변동성에서 기인한다고 제안한다. 저자들은 블로거 인구를 주기적인 변동을 가진 시간에 따라 변하는 포아송 과정으로 모델링하여 이론적 관계를 유도하였으며, 이는 표준편차가 평균 어휘 빈도와 선형적으로 비례함을 보여주며, 실제로 기울기가 0.11이고 굴절점이 82건의 출현 빈도에서 관측되었다. 이 모델은 제품 출시와 같은 외부 사건을 블로그 활동의 비정상적인 급증에서 탐지하는 데 기여한다.

ABSTRACT

Collective human behaviors are analyzed using the time series of word appearances in blogs. As expected, we confirm that the number of fluctuations is approximated by a Poisson distribution for very-low-frequency words. A non-trivial scaling roperty is confirmed for more-frequent words. We propose a simple model that shows that the fluctuations in the number of contributors is playing the central role in this non-Poissonian behavior.

연구 동기 및 목표

• 고빈도 블로그 어휘 출현에서 비포isson 분포의 통계적 근본 원인을 이해하기 위해.
• 관찰된 포isson 통계에서의 편차가 내재된 어휘 역학적 특성인지, 외부 시스템 수준의 요인인지 식별하기 위해.
• 블로그 데이터에서 관측된 σ–μ(표준편차 대 평균) 스케일링을 설명하는 이론적 모델을 개발하기 위해.
• 이론적 모델을 적용하여 제품 출시와 같은 외부 사건을 비정상적인 블로그 활동 급증에서 탐지하기 위해.

제안 방법

• 매일의 변동성을 고려하여 시간에 따라 변하는 비율 $ c_j(t) $ 를 가진 시간에 따라 변하는 포아송 과정으로 블로거 수를 모델링한다.
• 기여자 수의 일일 변동을 반영하기 위해 시간 창 $ \big[ N - \bigtriangleup, N + \bigtriangleup \big] $ 내에서 포아송 과정의 초합을 도입한다.
• 다양한 비율을 가진 포아송 분포의 가중 평균으로 확률 밀도 $ p_j(F_j) $ 를 유도하여 분산에 대한 닫힌 형태의 표현식을 도출한다.
• 표준편차를 $ \sigma_j \approx \sqrt{\langle F_j \rangle \left(1 + \langle F_j \rangle \frac{\Delta(\Delta+1)}{3N^2} \right)} $ 로 근사하여, 포아송 유사 스케일링에서 선형 스케일링으로의 전이를 보여준다.
• 실제 블로그 데이터와의 일치를 위해 실증 관계 $ \sigma = 0.11\langle F \rangle $ 를 사용하여 모델을 校정하며, $ \Delta/N = 0.19 $ 를 사용하고 검증한다.
• 주간 주기성을 제거하기 위해 7일 이동 평균을 적용하고, 사건별로 $ 2\sigma $ 임계값을 계산하여 기준선에서의 심각한 이탈을 탐지한다.

실험 결과

연구 질문

• RQ1 저빈도 어휘가 포아송 행동을 따르는 데 반해 고빈도 블로그 어휘가 포아송 통계에서 벗어나는 이유는 무엇인가?
• RQ2 블로그 데이터에서 관측된 표준편차와 평균 어휘 빈도 사이의 선형 관계를 설명할 수 있는 메커니즘은 무엇인가?
• RQ3 블로거 수의 일일 변동이 블로그 어휘 빈도에서 비포아송 분산 스케일링을 설명할 수 있는가?
• RQ4 유도된 통계 모델은 제품 출시와 같은 실제 세계의 사건을 비정상적인 블로그 활동 급증에서 탐지할 수 있는가?

주요 결과

• 어휘 빈도 변동의 표준편차는 평균과 선형적으로 비례하며 기울기가 0.11이므로 비포아송 분산 구조임을 시사한다.
• σ–μ 관계의 굴절점은 평균 빈도 82건에서 발생하며, 이는 $ \langle F \rangle_c = 3N^2 / \Delta^2 $ 와 대응하며, 이로부터 $ \Delta/N = 0.19 $ 를 도출할 수 있다.
• 포아송 통계에서의 관측된 편차는 주로 시간에 따라 변하는 기여자 수의 영향에서 기인하며, 내재된 어휘 역학적 특성이나 스팸 활동 때문이 아니다.
• 모델은 제품 출시나 미디어 보도와 같은 외부 사건을 $ 2\sigma $ 임계값을 초과하는 급증을 통해 성공적으로 탐지한다.
• 블로그 급증이 언론 보도나 TV 방영 이후에 발생하는 시점과 일치함으로써, 미디어 영향의 정량적 평가가 가능해진다.
• 이 프레임워크는 일본 블로그 외의 언어 및 블로그 데이터 소스로도 일반화 가능하다.