[논문 리뷰] Toward Emerging Topic Detection for Business Intelligence: Predictive Analysis of `Meme' Dynamics

K. Glass, R. Colbaugh|arXiv (Cornell University)|2010. 12. 29.

Complex Network Analysis Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 '미믹'(meme) 동역학을 분석하여 새로운 비즈니스 주제를 예측하는 프레임워크를 제안한다. 미믹은 트렌드가 되는 논의의 흔적을 나타내는 고유한 어구이다. 전통적이지 않은 초기 확산 행동의 신규 지표를 사용하여 저자들은 확산이 광범위해질 가능성이 있는 미믹을 예측하는 분류기를 훈련시켰으며, 2008년 말 블로그 데이터에서 높은 정확도로 영향력이 큰 주제를 식별하는 데 성공했다.

ABSTRACT

Detecting and characterizing emerging topics of discussion and consumer trends through analysis of Internet data is of great interest to businesses. This paper considers the problem of monitoring the Web to spot emerging memes - distinctive phrases which act as "tracers" for topics - as a means of early detection of new topics and trends. We present a novel methodology for predicting which memes will propagate widely, appearing in hundreds or thousands of blog posts, and which will not, thereby enabling discovery of significant topics. We begin by identifying measurables which should be predictive of meme success. Interestingly, these metrics are not those traditionally used for such prediction but instead are subtle measures of meme dynamics. These metrics form the basis for learning a classifier which predicts, for a given meme, whether or not it will propagate widely. The utility of the prediction methodology is demonstrated through analysis of memes that emerged online during the second half of 2008.

연구 동기 및 목표

• 온라인 논의를 모니터링하여 새로운 비즈니스 주제를 조기에 탐지하는 것을 목적으로 한다.
• 확산이 광범위해질 잠재력이 있는 미믹의 측정 가능한 지표를 사전에 식별하는 것.
• 확산이 광범위해질 가능성이 있는 미믹과 그렇지 않은 것을 구분할 수 있는 예측 분류기를 개발하는 것.
• 2008년 말 실제 블로그 데이터를 사용하여 이 방법의 유용성을 입증하는 것.
• 정적 지표에서 동적이고 초기 단계의 행동 패턴으로의 초점을 이동시켜 미믹 성공을 예측하는 것.

제안 방법

• 2008년 하반기 블로그 게시물에서 고유한 어구(미믹)의 집합을 식별한다.
• 최종 인기도에 의존하지 않고, 성장률, 폭발성, 시간적 군집성과 같은 초기 확산 패턴을 캡처하는 동적 지표를 추출한다.
• 이러한 동적 지표를 특징으로 사용하여 지도 학습 분류기를 훈련시킨다.
• 주어진 미믹이 수백 또는 수천 개의 게시물에 나타날 것인지를 예측하기 위해 분류기를 적용한다(즉, 광범위한 확산을 달성할 것임을 의미한다).
• 초기 단계 지표에 중점을 두고 역사적 데이터를 사용하여 모델의 예측 성능을 평가한다.
• 분류기를 활용하여 정점에 도달하기 전에 새로운 주제를 조기에 경고함으로써 사전 대응 가능한 비즈니스 인텔리전스를 가능하게 한다.

실험 결과

연구 질문

• RQ1 초기 미믹 확산의 어떤 동적 특징이 결국 광범위한 확산을 가장 잘 예측하는가?
• RQ2 미믹 확산의 미세한 초기 단계 행동 패턴이 전통적인 인기 기반 지표보다 번식 예측에 뛰어나게 작용할 수 있는가?
• RQ3 초기 확산 역학에 기반한 분류기가 얼마나 정확하게 확산이 광범위해질 가능성이 있는 미믹을 식별할 수 있는가?
• RQ4 이 방법의 예측 능력은 새로운 비즈니스 추세를 탐지하는 데 있어 기존의 접근 방식과 어떻게 비교되는가?
• RQ5 이 접근 방식은 비즈니스 인텔리전스 맥락에서 온라인 논의에서 새로운 주제를 식별하는 데 실질적인 유용성이 있는가?

주요 결과

• 제안된 방법은 초기 확산 데이터만을 사용하여 광범위한 확산 가능성이 있는 미믹을 성공적으로 식별한다.
• 가장 예측력 있는 특징은 최종 인기도나 初기 빈도가 아니라 성장률과 폭발성과 같은 동적 지표이다.
• 분류기는 확산이 광범위해질 것인지 그렇지 않은지를 높은 정확도로 구분한다.
• 모델은 정점에 도달하기 전에 새로운 주제를 조기에 탐지할 수 있기 때문에 비즈니스 인텔리전스에 실질적인 가치를 제공한다.
• 결과적으로, 집계나 정적 측정보다는 미세한 초기 단계의 역학이 향후 번식 예측에 더 유용하다는 것이 입증되었다.
• 이 프레임워크는 2008년 말 실제 블로그 데이터를 대상으로 검증되었으며, 실세계 추세 탐지에 대한 그 적용 가능성을 확인했다.