[논문 리뷰] The effect of wording on message propagation: Topic- and author-controlled natural experiments on Twitter

Chenhao Tan, Lillian Lee외 1명|arXiv (Cornell University)|2014. 05. 06.

Complex Network Analysis Techniques참고 문헌 33인용 수 49

한 줄 요약

이 연구는 주제 및 저자 제어된 트윗 쌍을 분석함으로써 어조가 트위터에서 메시지 확산에 어떻게 影향을 미치는지 조사한다—동일한 사용자가 짧은 시간 내에 다른 어휘로 동일한 URL을 게시한 경우를 대상으로 한다. 실제 트위터 데이터에서 유도된 자연 실험을 바탕으로, 저자들은 인간 예측과 강력한 베이스라인을 능가하는 계산 모델을 개발하여 어느 어휘 버전이 더 많은 재트윗을 얻을지를 식별하는 데 성공하였으며, 이는 어조가 주제나 저자 영향력과는 독립적으로 확산성에 상당한 영향을 미친다는 것을 보여준다.

ABSTRACT

Consider a person trying to spread an important message on a social network. He/she can spend hours trying to craft the message. Does it actually matter? While there has been extensive prior work looking into predicting popularity of social-media content, the effect of wording per se has rarely been studied since it is often confounded with the popularity of the author and the topic. To control for these confounding factors, we take advantage of the surprising fact that there are many pairs of tweets containing the same url and written by the same user but employing different wording. Given such pairs, we ask: which version attracts more retweets? This turns out to be a more difficult task than predicting popular topics. Still, humans can answer this question better than chance (but far from perfectly), and the computational methods we develop can do better than both an average human and a strong competing method trained on non-controlled data.

연구 동기 및 목표

• 주제와 저자 영향력과는 독립된 어조가 소셜 미디어에서 메시지 확산에 미치는 영향을 분리하고 측정하는 것.
• 이전 연구에서의 혼동 요인을 제거하기 위해 동일한 사용자가 동일한 콘텐츠의 다른 어휘로 게시한 자연 실험을 활용하는 것.
• 언어적 및 구조적 특징을 기반으로 어떤 메시지 버전이 더 효과적으로 퍼질지를 예측하는 계산 모델을 개발하는 것.
• 인간이 제어된 어휘 비교에서 재트윗 성공을 보다 우연의 결과보다 잘 예측할 수 있는지 평가하는 것.
• 사용자 정의 언어적 특징과 표준 베이스라인 간의 성능을 비교하여 재트윗 결과를 예측하는 데서의 성능을 평가하는 것.

제안 방법

• 동일한 사용자가 짧은 시간 창 내에 동일한 URL을 게시한 주제 및 저자 제어 트윗 쌍을 식별한다.
• 두 어휘 중 어느 쪽이 더 많은 재트윗을 얻을지를 평가하기 위해 아마존 Mechanical Turk를 활용해 인간 평가를 수집한다.
• 사용자 정의 언어적 특징(예: 정보성, 감성, 일반성, 재트윗 점수)과 n-gram 특징을 사용하여 쌍화된 데이터에서 지도 학습 분류기를 훈련시킨다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 특징 선택 및 정규화 기법을 적용한다.
• 교차 검증과 Bonferroni 보정을 활용하여 특징 기여도의 통계적 유의성을 평가한다.
• 모델 성능을 인간 정확도와 비제어 데이터에서 훈련된 강력한 베이스라인 모델과 비교한다.

실험 결과

연구 질문

• RQ1 어휘 선택이 주제와 저자 영향력과는 독립적으로 메시지가 받는 재트윗 수에 유의미한 영향을 미치는가?
• RQ2 인간은 주제 및 저자 제어 트윗 쌍에서 어느 버전의 메시지가 더 효과적으로 퍼질지를 예측할 수 있는가?
• RQ3 제어된 데이터에서 훈련된 계산 모델은 인간 예측 성능과 비제어 데이터에서 훈련된 베이스라인 모델을 모두 능가하는가?
• RQ4 어떤 언어적 및 구조적 특징이 제어된 어휘 쌍에서 더 높은 재트윗 수를 예측하는 데 가장 유용한가?
• RQ5 학습 데이터 크기에 따라 성능과 특징 중요도는 어떻게 변화하는가?

주요 결과

• 인간은 평균 61.3%의 정확도로 재트윗 수가 더 많은 어휘 버전을 예측하였으며, 우연의 결과보다는 유의미하게 높지만 완벽하지는 않았다.
• 제안된 계산 모델은 인간 평균 성능과 비제어 데이터에서 훈련된 강력한 베이스라인 모델을 모두 능가하였다.
• 정보성, 감성, 재트윗 점수, 커뮤니티 규범과의 일치도 등 사용자 정의 특징들이 가장 예측력이 높았다.
• 작은 학습 데이터로도 높은 성능을 달성하였으며, n=1000개의 쌍에서 bag-of-words(BOW) 특징보다 뛰어난 성능을 보였다.
• 'icymi', 'thanks', 'sorry', '@mentions'와 같은 특징들은 빈도가 낮고 비바이러스성 또는 비공개 의도를 시사하므로 예측력이 떨어졌다.
• 모델의 최상위 성능을 보인 유니그램 특징으로는 'rt', 'retweet', 'breaking', 'win' 등이 있었으며, 이는 이전 연구에서의 바이러스성 콘텐츠 특성과 일치하였다.