[논문 리뷰] The Pulse of News in Social Media: Forecasting Popularity

Roja Bandari, Sitaram Asur외 1명|arXiv (Cornell University)|2012. 02. 02.

Complex Network Analysis Techniques참고 문헌 28인용 수 110

한 줄 요약

이 논문은 소스, 카테고리, 주관성, 명시적 개체 등과 같은 특징을 사용하여 출판 이전에 뉴스 기사의 트위터에서의 인기 정도를 내용 기반 접근 방식으로 예측하는 방법을 제안한다. 기계 학습을 통해 인기 범위(낮음/보통/높음 트윗)를 분류할 때 84%의 정확도를 달성하였으며, 기사의 소스가 가장 예측력 있는 요소로 나타나, 기존 뉴스 매체와 소셜 미디어에서의 최고 인기 소스 사이의 괴리가 드러났다.

ABSTRACT

News articles are extremely time sensitive by nature. There is also intense competition among news items to propagate as widely as possible. Hence, the task of predicting the popularity of news items on the social web is both interesting and challenging. Prior research has dealt with predicting eventual online popularity based on early popularity. It is most desirable, however, to predict the popularity of items prior to their release, fostering the possibility of appropriate decision making to modify an article and the manner of its publication. In this paper, we construct a multi-dimensional feature space derived from properties of an article and evaluate the efficacy of these features to serve as predictors of online popularity. We examine both regression and classification algorithms and demonstrate that despite randomness in human behavior, it is possible to predict ranges of popularity on twitter with an overall 84% accuracy. Our study also serves to illustrate the differences between traditionally prominent sources and those immensely popular on the social web.

연구 동기 및 목표

• 출판 이전에 뉴스 기사의 온라인 인기를 콘텐츠 수준의 특징만을 사용하여 트위터에서 예측하기 위해.
• 예측을 위해 초기 인기 지표가 필요한지, 아니면 콘텐츠 특징만으로도 충분한지 확인하기 위해.
• 소스, 카테고리, 주관성, 명시적 개체와 같은 기사 수준의 특징 중에서 소셜 미디어에서의 인기를 가장 강하게 예측하는 특징을 특정하기 위해.
• 기존 뉴스 매체와 새로운 소셜 미디어 인플루언서의 콘텐츠 확산 영향을 비교하기 위해.
• 콘텐츠 전용 특징을 사용하여 정확한 트윗 수가 아닌 인기 범위를 예측하는 것이 가능한지 평가하기 위해.

제안 방법

• 뉴스 소스, 뉴스 카테고리, 언어 주관성, 명시적 개체의 네 가지 콘텐츠 기반 특징을 사용하여 다차원적 특징 공간을 구축하였다.
• 언어학적 및 메타데이터 분석 기반의 사전 정의된 점수 함수를 사용하여 각 특징에 수치 점수를 할당하였다.
• 회귀 및 분류 모델(SVM, 의사결정트리, 배깅, 나이브 베이즈)을 적용하여 트위터에서의 인기 범위를 예측하였다.
• 모델 성능 평가 및 강건성 확보를 위해 10겹 교차검증을 사용하였다.
• 각 특징을 한 개씩 제거하여 개별 특징 기여도를 평가하기 위해 추출 분석(ablation study)를 수행하였다.
• 동일한 특징 세트를 사용하여 기사가 0개의 트윗을 받을지 여부를 이진 분류하는 작업을 수행하였다.

실험 결과

연구 질문

• RQ1 출판 이전에 초기 참여 지표에 의존하지 않고 콘텐츠 특징만으로 트위터에서의 뉴스 인기를 예측할 수 있는가?
• RQ2 소스, 카테고리, 주관성, 또는 명시적 개체 중에서 트위터에서의 뉴스 기사 인기 범위를 가장 강하게 예측하는 콘텐츠 특징은 무엇인가?
• RQ3 기사 소스의 예측력이 전통적 뉴스 매체와 소셜 미디어에 능숙한 블로그 사이에서 어떻게 다를까?
• RQ4 언어의 주관성은 기사가 트위터에서 공유될 가능성을 어느 정도 영향을 미치는가?
• RQ5 콘텐츠 특징만으로 기사가 공유될 수 있는지(0개 이상의 트윗) 여부를 구분할 수 있는가?

주요 결과

• 제안된 방법은 출판 이전의 콘텐츠 특징만을 사용하여 인기 범위(낮음, 보통, 높음 트윗) 예측에 총 84%의 분류 정확도를 달성하였다.
• 기사의 소스가 가장 중요한 예측 요소였으며, 기사가 트위터에서 퍼질지 여부에 강력한 영향을 미쳤다.
• 마샤블과 구글 블로그와 같은 기술 블로그의 기사들이 전통적인 주요 뉴스 매체가 아니지만 가장 널리 공유된 것으로 나타났다.
• 주관성과 명시적 개체는 예측 성능 향상에 유의미한 기여를 하지 않아, 독자들이 더 주관적 또는 엔티티가 많은 콘텐츠를 선호하지 않는다는 것을 시사한다.
• 카테고리 특징은 트위터에서의 인기 예측에는 유용하지 않았지만, 기사가 공유될 수 있는지 여부를 예측하는 데에는 도움이 되었으며, 플랫폼에서 기술 콘텐츠에 대한 편향 때문일 가능성이 높다.
• 0트윗 대비 비제로 트윗 기사 예측을 위한 이진 분류에서는 66%의 정확도를 달성하였으며, 이 예측에서 소스와 카테고리가 가장 정보가 많은 특징이었다.