[論文レビュー] Prediction models for network-linked data

Tianxi Li, Elizaveta Levina+1 more|arXiv (Cornell University)|Feb 3, 2016

Complex Network Analysis Techniques参考文献 59被引用数 9

ひとこと要約

本論文は、接続された個々の個人が類似した行動を示す『ネットワークの凝集性』を活用するため、関連するノードの予測値を類似させることを促進する、ネットワークに基づくペナルティを予測モデルに導入する。この手法により、回帰、一般化線形モデル、コックスモデルのあらゆる分野でネットワーク構造を統合することで、AddHealthデータを用いた思春期行動の予測において顕著な改善が得られ、RNC（正則化されたネットワークベース分類）は、レクリエーション活動およびマリファナ使用の両方の予測において、標準モデルを上回る性能を発揮した。

ABSTRACT

Prediction algorithms typically assume the training data are independent samples, but in many modern applications samples come from individuals connected by a network. For example, in adolescent health studies of risk-taking behaviors, information on the subjects' social network is often available and plays an important role through network cohesion, the empirically observed phenomenon of friends behaving similarly. Taking cohesion into account in prediction models should allow us to improve their performance. Here we propose a network-based penalty on individual node effects to encourage similarity between predictions for linked nodes, and show that incorporating it into prediction leads to improvement over traditional models both theoretically and empirically when network cohesion is present. The penalty can be used with many loss-based prediction methods, such as regression, generalized linear models, and Cox's proportional hazard model. Applications to predicting levels of recreational activity and marijuana usage among teenagers from the AddHealth study based on both demographic covariates and friendship networks are discussed in detail and show that our approach to taking friendships into account can significantly improve predictions of behavior while providing interpretable estimates of covariate effects.

研究の動機と目的

• 独立標本抽出の仮定を超えてネットワーク構造データを予測モデルに統合する一般的な統計的フレームワークの構築を目的とする。
• ネットワークで接続されたデータにおける従属観測の課題に、接続されたノードの予測値の類似性を促進するペナルティを導入することで対処することを目的とする。
• 強い因果的仮定を必要とせずに、ネットワークの凝集性を活用して行動研究における予測精度を向上させることを目的とする。
• 個々の共変量効果を明示的に推定可能であり、かつネットワーク的影響と併せてモデルの解釈性を保証するモデルを提供することを目的とする。

提案手法

• 関連するノードの予測値を類似させることを促進するように、個々のノード効果を正則化するネットワークベースのペナルティ項を導入する。
• 回帰、GLM、コックスモデルと互換性のある損失に基づく最適化フレームワークにペナルティを適用する。
• ネットワーク隣接行列から導出されるラプラシアン行列を用いてペナルティを定義し、ネットワーク構造に沿った滑らかさを促進する。
• 座標降下法を用いて、正則化された最適化問題を効率的に解く。
• ネットワーク形成や因果関係のモデル化を必要としないペナルティを用いて、ネットワーク情報を統合する。
• スパースコレスキー分解と分散処理システムにおける並列化を活用して、スケーラブルな計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの凝集性は、ネットワークで接続されたデータを有する行動研究における予測精度を向上させるために活用可能か？
• RQ2 独立同一分布（i.i.d.）の仮定に反しない形で、ネットワーク構造を標準的な予測モデルに形式的に統合できるか？
• RQ3 ネットワークペナルティを組み込むことで、共変量効果の推定がより解釈可能かつ安定的になるか？
• RQ4 ネットワークで接続されたデータセットにおける欠損データに対して、提案手法のモデルはどれほど頑健か？
• RQ5 実世界の応用、例えば思春期行動の予測において、標準モデルを上回る性能を発揮できるか？

主な発見

• RNC（正則化されたネットワークベース分類）は、レクリエーション活動の予測において1.163のRMSEを達成し、OLS（1.219）および他のベースラインを著しく上回った。
• マリファナ使用の予測において、RNCはiAUC 0.748を達成し、コックス回帰（0.727）およびブースティング（0.742）モデルを上回った。
• RNC-LAバージョンはpm=2で最高のiAUC 0.767を記録し、欠損データに対して強い頑健性を示した。
• モデルの性能は、欠損データが50％まで増加しても安定しており、すべての設定で一貫した順位付けが維持された。
• 共変量「race-black」の効果サイズは、OLSからRNCに移行する際、21％の低下を示し、ネットワークの凝集性がその予測信号の一部を捉えていることを示唆した。
• 感度分析により、データ補完法や欠損データのレベルにかかわらず、モデルの順位付けが変化せず、結果の頑健性が確認された。