[논문 리뷰] Marked Self-Exciting Point Process Modelling of Information Diffusion on Twitter

Feng Chen, Wai Hong Tan|arXiv (Cornell University)|2018. 02. 26.

Complex Network Analysis Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 매개변수적이고 시간에 따라 변하는 강도 함수를 사용하여 재트윗 캐스케이드를 모델링함으로써 트윗의 인기 정도를 예측하는 marked self-exciting point process 모델인 MaSEPTiDE를 제안한다. 비모수적 모델인 TiDeH와 SEISMIC에 비해 특히 짧은 관찰 창(예: 6시간 이내)에서 뛰어난 성능을 보이며, 신뢰할 수 있는 추정을 위해 필요한 데이터가 적은 완전한 매개변수 구조 덕분이다.

ABSTRACT

Information diffusion occurs on microblogging platforms like Twitter as retweet cascades. When a tweet is posted, it may be retweeted and henceforth further retweeted, and the retweeting process continues iteratively and indefinitely. A natural measure of the popularity of a tweet is the number of retweets it generates. Accurate predictions of tweet popularity can assist Twitter to rank contents more effectively and facilitate the assessment of potential for marketing and campaigning strategies. In this paper, we propose a model called the Marked Self-Exciting Process with Time-Dependent Excitation Function, or MaSEPTiDE for short, to model the retweeting dynamics and to predict the tweet popularity. Our model does not require expensive feature engineering but is capable of leveraging the observed dynamics to accurately predict the future evolution of retweet cascades. We apply our proposed methodology on a large amount of Twitter data and report substantial improvement in prediction performance over existing approaches in the literature.

연구 동기 및 목표

• 초기 재트윗 동역학을 바탕으로 트윗의 최종 인기 정도를 예측하기 위한 강력하고 데이터 효율적인 모델을 개발하는 것.
• TiDeH와 같은 비모수적 모델의 한계를 해결하기 위해, 신뢰할 수 있는 전파성 추정을 위해 장기간의 관찰 시간과 큰 데이터셋이 필요한 비모수적 모델의 문제점을 해결하는 것.
• 최적화된 구성 함수를 사용한 완전한 매개변수적 강도 함수의 형태를 통해 조기 예측 정확도를 향상시키는 것.
• 트위터와 같은 소셜 미디어 플랫폼에서 실시간 인기 예측을 위한 확장 가능하고 실용적인 솔루션을 제공하는 것.
• 매우 높은 재트윗 수를 기록한 캐스케이드(예: 2,000건 이상)에 의존하는 기존 모델의 편향을 해결하기 위해, 평균 트윗에 대해 일반화 가능한 예측을 가능하게 하는 것.

제안 방법

• 각 재트윗이 향후 재트윗의 강도를 증가시키는 marked self-exciting point process로 재트윗 동작를 모델링한다.
• 비선형 최적화를 통해 추정되는 시간에 따라 변하는 전파성 함수와 기억 핵함수로 구성된 매개변수적 강도 함수를 사용한다.
• 시간에 따라 변하는 전파성과 기억 핵함수를 유연하게 표현하기 위해 B-spline 기저 함수를 사용한다.
• 학습 데이터에서 적합도 평가를 통해 최적의 매개변수 형태(예: 전파성에 대한 다항식 감쇠, 기억 핵함수에 대한 지수 감쇠)를 선택한다.
• 비모수적 커널 스무딩을 사전 단계로 활용하여 매개변수 모델 선택을 지원하지만, 최종 추론에는 의존하지 않는다.
• 예측된 강도 함수를 시간에 따라 적분하여 최종 재트윗 수를 예측함으로써, 제한된 관찰 창에서도 조기 예측이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 완전한 매개변수적 marked self-exciting point process 모델이 비모수적 대안에 비해 트윗 인기의 조기 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 2~6시간의 짧은 관찰 창에서 학습된 MaSEPTiDE의 예측 정확도가 TiDeH와 SEISMIC에 비해 어떻게 비교되는가?
• RQ3 MaSEPTiDE의 매개변수 구조는 비모수적 방법에 비해 데이터 요구량을 얼마나 줄이고 추정의 안정성을 향상시키는가?
• RQ4 특히 덜 인기 있는 트윗에 대해, 모델 성능은 다양한 캐스케이드 길이에 따라 어떻게 변하는가?
• RQ5 대부분의 기존 데이터셋이 매우 유행하는 콘텐츠에 편향되어 있기 때문에, MaSEPTiDE가 평균 트윗의 인기를 일반화하여 예측할 수 있는가?

주요 결과

• 관찰 종료 시점(2시간, 4시간, 6시간)에서 MaSEPTiDE는 TiDeH와 SEISMIC보다 조건부 중앙값 예측에서 유의미하게 낮은 평균 절대 오차(MAE)를 기록한다.
• 8시간, 10시간, 12시간 시점에서는 MaSEPTiDE의 성능이 TiDeH와 유사하지만, TiDeH는 8시간 이후에야 소폭의 이점을 확보한다—이때 대부분의 재트윗은 이미 발생해 있다.
• 모델의 예측 정확도는 관찰 시간이 증가함에 따라 급격히 향상되며, 트윗 게시 후 2시간 이내에 신뢰할 수 있는 결과를 도출할 수 있다.
• 매개변수 구조 덕분에 데이터 의존성이 감소하여, 짧은 재트윗 시퀀스에서도 안정적인 추정이 가능하다.
• 특히 중간에서 높은 인기의 캐스케이드에서, 짧은 관찰 기간에 대한 강건성 덕분에 MaSEPTiDE는 경쟁 모델들을 능가한다.
• 이 연구는 매우 높은 재트윗 수를 기록한 캐스케이드(예: 2,000건 이상)로 학습된 모델이 평균 트윗을 대표하지 못한다는 점을 확인하며, 기존 데이터셋의 핵심적 한계를 드러낸다.