[論文レビュー] The effect of wording on message propagation: Topic- and author-controlled natural experiments on Twitter

Chenhao Tan, Lillian Lee+1 more|arXiv (Cornell University)|May 6, 2014

Complex Network Analysis Techniques参考文献 33被引用数 49

ひとこと要約

本研究では、トピックおよび著者を制御したツイートペアを分析することで、表現の違いがTwitter上でのメッセージ拡散に与える影響を調査している。同一のURLを同じユーザーが短時間のうちに異なる表現で投稿したペアを用い、実際のTwitterデータからの自然実験を活用して、人間の予測や強力なベースラインを上回る性能を示す計算モデルを開発した。この結果、トピックや著者に依存しない形で、表現の違いが拡散性に顕著な影響を与えることが示された。

ABSTRACT

Consider a person trying to spread an important message on a social network. He/she can spend hours trying to craft the message. Does it actually matter? While there has been extensive prior work looking into predicting popularity of social-media content, the effect of wording per se has rarely been studied since it is often confounded with the popularity of the author and the topic. To control for these confounding factors, we take advantage of the surprising fact that there are many pairs of tweets containing the same url and written by the same user but employing different wording. Given such pairs, we ask: which version attracts more retweets? This turns out to be a more difficult task than predicting popular topics. Still, humans can answer this question better than chance (but far from perfectly), and the computational methods we develop can do better than both an average human and a strong competing method trained on non-controlled data.

研究の動機と目的

• トピックや著者に依存しない形で、表現の違いがソーシャルメディアにおけるメッセージ拡散に与える影響を分離し、測定すること。
• 同じコンテンツの異なる表現を同じユーザーが投稿する自然実験を用いることで、先行研究における交絡要因を解消すること。
• 言語的および構造的特徴に基づいて、どのメッセージバージョンがより効果的に拡散するかを予測する計算モデルを開発すること。
• 人間が制御された表現の違いの比較において、リツイート成功をどれほど正確に予測できるかを評価すること。
• 標準的なベースラインと比較して、独自の言語的特徴がリツイート結果の予測にどの程度優れているかを評価すること。

提案手法

• 同じユーザーが短い時間窓内で同一のURLを異なる表現で投稿した、トピックおよび著者を制御したツイートペアを特定する。
• Amazon Mechanical Turkを用いて、ペア内の2つの表現のうち、どちらがよりリツイートされやすいかを人間が判断するデータを収集する。
• カスタム言語的特徴（例：情報量、感情、一般性、リツイートスコア）とn-gram特徴を用いて、ペアデータ上で教師あり分類器を学習する。
• 過学習を回避し一般化性能を向上させるために、特徴選択および正則化技術を適用する。
• 交差検証とボンフェローニ補正を用いて、特徴の寄与度の統計的有意性を評価する。
• モデルの性能を人間の正答率および非制御データで学習した強力なベースラインモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 表現の選択が、トピックや著者に依存せず、リツイート数に顕著な影響を与えるか？
• RQ2 トピックおよび著者を制御したペアにおいて、人間はどちらの表現バージョンがより効果的に拡散するかを予測できるか？
• RQ3 制御されたデータで学習した計算モデルは、人間の予測性能および非制御データで学習したベースラインモデルを上回れるか？
• RQ4 どの言語的および構造的特徴が、制御された表現ペアにおける高いリツイート数を最もよく予測するか？
• RQ5 トレーニングデータサイズの変化に伴い、性能と特徴の重要度はどのように変化するか？

主な発見

• 人間の平均正答率は61.3%に達し、運任せの水準をはるかに上回っていたが、完璧ではなかった。
• 提案された計算モデルは、平均的人間の性能および非制御データで学習した強力なベースラインモデルを上回った。
• 情報量、感情、リツイートスコア、コミュニティの規範との整合性といったカスタム特徴が、特に予測力が高かった。
• 小規模なトレーニングデータでも高い性能を発揮し、n=1000ペアの際にはbag-of-words（BOW）特徴を上回った。
• 『icymi』、『thanks』、『sorry』、および『@メンション』といった特徴は、予測力が低く、非ウイルス的または非公開の意図を示している可能性がある。
• モデルの最良性能を示したユニグラム特徴には『rt』、『retweet』、『breaking』、『win』が含まれており、先行研究におけるウイルス的コンテンツの特徴と整合的であった。