[論文レビュー] Predictability of Popularity: Gaps between Prediction and Understanding

Benjamin Shulman, Amit Sharma+1 more|arXiv (Cornell University)|Mar 31, 2016

Complex Network Analysis Techniques被引用数 37

ひとこと要約

本稿は、複数のソーシャルネットワークにおける初期採用データを用いて、文化的アイテムの人気の予測可能性を調査している。時間的特徴、特に初期採用速度が予測精度を支配しており、他のすべての特徴を合わせたものよりも優れている。一方、非時間的特徴（例：採用者の特性、ネットワーク構造）は分野をまたいで弱くかつ一貫性のない予測力を示しており、現在のモデルは人気をうまく予測できるが、なぜアイテムが人気化するかを説明できない可能性がある。

ABSTRACT

Can we predict the future popularity of a song, movie or tweet? Recent work suggests that although it may be hard to predict an item's popularity when it is first introduced, peeking into its early adopters and properties of their social network makes the problem easier. We test the robustness of such claims by using data from social networks spanning music, books, photos, and URLs. We find a stronger result: not only do predictive models with peeking achieve high accuracy on all datasets, they also generalize well, so much so that models trained on any one dataset perform with comparable accuracy on items from other datasets. Though practically useful, our models (and those in other work) are intellectually unsatisfying because common formulations of the problem, which involve peeking at the first small-k adopters and predicting whether items end up in the top half of popular items, are both too sensitive to the speed of early adoption and too easy. Most of the predictive power comes from looking at how quickly items reach their first few adopters, while for other features of early adopters and their networks, even the direction of correlation with popularity is not consistent across domains. Problem formulations that examine items that reach k adopters in about the same amount of time reduce the importance of temporal features, but also overall accuracy, highlighting that we understand little about why items become popular while providing a context in which we might build that understanding.

研究の動機と目的

• 多様なソーシャルネットワークデータセットにおける人気予測モデルの頑健性および一般化可能性を評価すること。
• 初期採用者の特徴およびそのネットワークに関する特徴が、アイテムがなぜ人気化するかを説明する意味のある洞察を提供するかどうかを評価すること。
• 時間的特徴を強調するか否かに注目した異なる問題定式化（特に、時間的特徴を強調するか否か）を比較し、アイテムの人気を予測すること。
• 現在の予測モデルが文化的拡散の理論的理解を進めるのではなく、単に表面的な時間的パターンを捉えているにとどまっているかどうかを調査すること。
• 時間的特徴を最小限に抑えるような代替定式化（例：時間的マッチング）が、非時間的要因の人気の背後要因をより深く明らかにできるかを検討すること。

提案手法

• Flickr、Goodreads、Last.fm、Twitterの4つのソーシャルネットワークデータセットを用い、アイテムの人気と初期採用パターンを追跡した。
• 標準的な予測タスクを適用：最初のk人の採用者に基づいて、アイテムが最終的に上位50％の人気を獲得するかどうかを分類する。
• 時間的特徴（例：k人の採用者に到達するまでの時間）のみを用いたモデルと、非時間的特徴（例：採用者のデモグラフィック特性、ネットワーク構造）を組み込んだモデルを比較した。
• 時間的特徴の優位性を軽減するため、時間的マッチングと呼ばれる新しい定式化を導入。この手法では、k人の採用者に到達する時間が同じ時間窓内にあるアイテム同士のみを比較する。
• データセット間で5分割交差検証を実施し、1つのデータセットで学習したモデルが他のデータセットにどれほど一般化できるかをテストした。
• ロジスティック回帰モデルを用い、特徴量の重要度分析により、時間的特徴と非時間的特徴の寄与度を分離した。

実験結果

リサーチクエスチョン

• RQ1 時間的特徴（例：初期採用の速さ）は、多様なソーシャルネットワークにおいて、どれほど人気予測を支配するか？
• RQ2 時間的特徴を用いたモデルは、1つのデータセットで学習した後、他のデータセットにどれほど一般化できるか？
• RQ3 非時間的特徴（例：採用者の特性、ネットワーク構造）は、時間的特徴と比べて相対的にどれほど予測力があるか？
• RQ4 時間的特徴を制御する（時間的マッチングによる）予測問題の再定式化は、全体の予測精度と特徴量の重要度にどのように影響するか？
• RQ5 時間的効果を最小限に抑えた場合、非時間的特徴がより情報的になるか。その結果、人気の背後要因を理解する上で何を示唆するか？

主な発見

• 時間的特徴、特に初期採用速度が、非時間的特徴をすべて合わせたものよりも優れており、Twitterでは最大83％の精度を達成した。
• 時間的特徴を用いたモデルは、1つのデータセットで学習した後、他のデータセットへも良好に一般化するが、ネットワーク構造的特徴に依存するモデルは一般化が著しく劣る。
• 時間的特徴を除去するか、時間的マッチング定式化により制御した場合、全データセットで全体の予測精度が65％未満に低下した。
• 時間的マッチング定式化では、非時間的特徴の相対的な説明力が向上しており、時間的特徴の優位性が他の有意義なパターンを隠している可能性を示唆している。
• ネットワーク構造的特徴と人気の間の相関の方向性は、分野をまたいで一貫性がなく、その信頼性を説明要因として低下させている。
• 時間的特徴の強力な性能は、現在のモデルが人気を効果的に予測できる一方で、文化的拡散の背後メカニズムを説明できていない可能性を示唆している。