[논문 리뷰] Canonical Trends: Detecting Trend Setters in Web Data

Felix Bießmann, Jens-Michalis Papaioannou외 2명|arXiv (Cornell University)|2012. 06. 27.

Web Data Mining and Analysis참고 문헌 18인용 수 9

한 줄 요약

이 논문은 웹 데이터 풀 내에서 다른 이들이 보다 일찍 정보를 게재하는 웹 소스를 식별함으로써 추세를 이끄는 소스를 탐지하는 방법을 제안한다. 콘텐츠 유사도의 시계열 분석을 통해 초기 게재 패턴을 기반으로 정규화된 추세를 모델링하고, 실제 기술 뉴스 피드에서 추세를 이끄는 소스를 높은 정확도로 식별한다.

ABSTRACT

Much information available on the web is copied, reused or rephrased. The phenomenon that multiple web sources pick up certain information is often called trend. A central problem in the context of web data mining is to detect those web sources that are first to publish information which will give rise to a trend. We present a simple and efficient method for finding trends dominating a pool of web sources and identifying those web sources that publish the information relevant to a trend before others. We validate our approach on real data collected from influential technology news feeds.

연구 동기 및 목표

• 다른 이들이 보다 일찍 정보를 게재하는 웹 소스를 식별하여 추세를 이끄는 소스로 규정한다.
• 웹 소스 간의 반복적인 정보 패턴을 '정규화된 추세'로 모델링한다.
• 대규모 웹 데이터에서 추세를 이끄는 소스를 효율적으로 탐지하는 방법을 개발한다.
• 실제 기술 뉴스 피드의 알려진 게재 일정을 바탕으로 접근 방식을 검증한다.
• 동적인 온라인 콘텐츠에서 새로운 추세를 조기에 탐지하는 데 기여한다.

제안 방법

• 정보의 진화를 추적하기 위해 웹 콘텐츠를 시간 태그가 부여된 문서로 모델링한다.
• 다양한 소스 간의 콘텐츠 재사용 패턴을 탐지하기 위해 정규 상관관계 접근법을 적용한다.
• 정보가 유행하는 데 있어 다른 소스보다 먼저 게재하는 소스를 식별하기 위해 콘텐츠 게재 순서를 시간적으로 정렬한다.
• 다양한 소스 간에 시간이 지남에 따라 반복적으로 나타나는 정보 패턴을 '정규화된 추세'로 정의한다.
• 다양한 소스가 동일한 콘텐츠 또는 어휘를 채택할 때를 탐지하기 위해 문서 간 유사도 측정법을 사용한다.
• 정규화된 추세가 나타나는 데 비해 게재 시점이 빠른 소스를 기준으로 소스를 순위 매긴다.

실험 결과

연구 질문

• RQ1 후에 널리 공유되는 정보를 가장 일찍 게재하는 웹 소스는 무엇인가?
• RQ2 웹 데이터에서 반복적인 정보 패턴(추세)는 어떻게 모델링할 수 있는가?
• RQ3 신뢰할 수 있는 추세를 이끄는 소스를 식별하는 데 어떤 시계열적 및 콘텐츠 기반 신호가 필요한가?
• RQ4 이 방법은 실제 뉴스 피드에서 추세를 이끄는 소스를 탐지하는 데 얼마나 효과적인가?
• RQ5 추세의 콘텐츠나 게재 시점에 대한 사전 지식 없이도 정규화된 추세를 탐지할 수 있는가?

주요 결과

• 이 방법은 실제 기술 뉴스 데이터에서 높은 정밀도로 추세를 이끄는 소스를 성공적으로 식별한다.
• 다양한 데이터셋에서 추세의 초기에 게재하는 소스들은 일관되게 정규화된 추세를 이끄는 소스로 식별된다.
• 콘텐츠 게재 순서의 시계열적 정렬은 추세를 이끄는 소스 신뢰도를 높이는 강력한 지표이다.
• 기본 방법 대비 경쟁적인 성능을 보이며 추세 탐지에 효과적이다.
• 콘텐츠 유사도와 게재 시점 정보를 활용해 정규화된 추세를 효과적으로 모델링할 수 있다.
• 이 방법은 대규모 웹 데이터 풀에 대해 효율적이고 확장 가능하여 실시간 응용에 적합하다.