[論文レビュー] Evaluating Social Networks Using Task-Focused Network Inference

Ivan Brugere, Chris Kanich+1 more|arXiv (Cornell University)|Jul 8, 2017

Complex Network Analysis Techniques参考文献 13被引用数 6

ひとこと要約

本稿では、ユーザーの音楽嗜好の分類といった予測タスクにおいて、観察された社会的ネットワークが効果的であるかどうかを評価する、タスク指向のフレームワークを提案する。ユーザーの聴取行動から推定された代替ネットワークと比較することで、ネットワークラベルバイアスとラベル出現頻度が分類性能を強く予測することが判明した。特に、専門的でややまれなラベルでは、グローバルベースラインに対して顕著な性能向上が得られた。

ABSTRACT

Networks are representations of complex underlying social processes. However, the same given network may be more suitable to model one behavior of individuals than another. In many cases, aggregate population models may be more effective than modeling on the network. We present a general framework for evaluating the suitability of given networks for a set of predictive tasks of interest, compared against alternative, networks inferred from data. We present several interpretable network models and measures for our comparison. We apply this general framework to the case study on collective classification of music preferences in a newly available dataset of the Last.fm social network.

研究の動機と目的

• 特定の予測タスクに適した観察された社会的ネットワークが適切な表現であるかどうかを評価する一般化可能なフレームワークの開発。
• 観察されたネットワーク（例：Last.fmのフレンドシップ）と、ユーザー行動データから推定された代替ネットワークのパフォーマンスを比較すること。
• 解釈可能なモデルを用いて、ネットワーク構造が個人の行動（例：音楽嗜好）をどれだけ説明できるかを定量化すること。
• ネットワークベースのモデルが集団分類タスクにおいてグローバル属性ベースラインを上回る条件を同定すること。
• 大規模かつ現実世界のデータセットを用いて、ネットワーク構造が予測モデリングにどの程度有効であるかを実証的に明らかにすること。

提案手法

• フレームワークは、タスクに対して複数の候補モデルの一つとして与えられたネットワークを評価し、モジュラーかつ一般化可能なアプローチを採用する。
• ユーザー行動データ（例：属性類似度に基づくK-Nearest Neighbors（KNN）やRandom Forest（RF）モデル）から推定された代替ネットワークと、観察されたネットワークを比較する。
• ラベルセットのパフォーマンスを推定するため、ラベルセットごとにO(n)時間で計算可能なネットワークラベルバイアス測定を用いる。
• ネットワーク構造の分類への寄与を隔離するために、グローバル属性ベースライン（GA）をパフォーマンスの基準として用いる。
• 交差検証とタスク固有の分類器を用いて、ベースライン上回る精度の上昇（lift）を評価する。
• 変動するサイズの近傍を組み込み、多様なラベルセットにおいてフレームワークの頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 観察された社会的ネットワーク（例：フレンドシップ）は、代替ネットワークと比較して、ユーザーの音楽嗜好をどの程度説明できるか？
• RQ2 ネットワークラベルバイアスとラベル出現頻度は、集団分類モデルのパフォーマンスにどのように影響するか？
• RQ3 どのラベルセットが、ネットワークベースのモデルを用いることでグローバル属性ベースラインに対して最大の精度向上を示すか？
• RQ4 ユーザー行動の種類やラベル分布の違いに対して、ネットワーク推定フレームワークの頑健性はどの程度か？
• RQ5 単純で解釈可能なネットワークモデルは、観察された社会的ネットワークを上回る予測性能を示せるか？

主な発見

• ネットワークラベルバイアスと精度上昇の間に明確な正の線形関係が存在し、バイアスが高いほどパフォーマンス向上が顕著であることが示された。
• 中程度の出現頻度（例：0.25以上）のラベルセットでは、パフォーマンス向上のリターンが減少傾向にあり、ラベル頻度と分類利益のトレードオフが生じていることが示唆された。
• 「ピアノ」「クラシック」「ウィッチ+ハウス」のような専門的でややまれなラベルは、バイアスの程度を上回る顕著なパフォーマンス向上を示し、期待を上回る結果を達成した。
• 「k-pop」ラベルセットは、そのネットワークラベルバイアスに比べてパフォーマンスが低く、推定されたネットワーク構造とラベル分布の間で不一致が生じている可能性を示唆した。
• 「ダブ」と「カントリー」は、「フォーク」や「アンビエント」に比べて、ローカル学習インスタンスが3倍多く得られたが、分類インスタンスは3〜4倍少ないことが判明し、高い効率性が示された。
• フレームワークは、集団分類におけるネットワーク構造の有効性を成功裏に定量化した。行動データから推定されたネットワークは、特定の予測タスクにおいて、観察された社会的ネットワークを上回る性能を示した。