[論文レビュー] Generalized linear models with low rank effects for network data

Yun-Jhong Wu, Elizaveta Levina+1 more|arXiv (Cornell University)|May 18, 2017

Complex Network Analysis Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、ノードおよびエッジの共変量を組み込みつつ、二値・重み付き・有向・無向ネットワークにおいてエッジ発生確率を効率的に推定できる低ランク効果を備えた一般化線形モデル（GLM）を提案する。射影勾配上昇法を用いることで、MCMCベースの代替手法に比べて一貫性のある推定と優れたスケーラビリティを達成し、Last.fm や C. elegans といった実世界のネットワークにおいて、リンク予測の性能を上回っている。

ABSTRACT

Networks are a useful representation for data on connections between units of interests, but the observed connections are often noisy and/or include missing values. One common approach to network analysis is to treat the network as a realization from a random graph model, and estimate the underlying edge probability matrix, which is sometimes referred to as network denoising. Here we propose a generalized linear model with low rank effects to model network edges. This model can be applied to various types of networks, including directed and undirected, binary and weighted, and it can naturally utilize additional information such as node and/or edge covariates. We develop an efficient projected gradient ascent algorithm to fit the model, establish asymptotic consistency, and demonstrate empirical performance of the method on both simulated and real networks.

研究の動機と目的

• 二値・重み付き・有向・無向ネットワークを対象とし、柔軟かつスケーラブルなエッジ予測モデルの開発。
• ノードおよびエッジの共変量をネットワークモデリングに組み込みつつ、計算効率を維持すること。
• MCMCベースの潜在空間モデルのスケーラビリティの限界を、新しい最適化フレームワークによって克服すること。
• 弱い正則性条件の下で漸近的整合性を確立し、シミュレーテッドおよび実世界のネットワークデータにおける実証的性能を示すこと。
• 対称性や正定値性を要件としない、既存の潜在空間モデルを一般化する統一的フレームワークの提供。

提案手法

• ノード間の対比較効果を、低次元の潜在要因行列の積として表す低ランク行列構造をモデルが使用する。
• 期待エッジ発生確率を一般化線形モデル（GLM）として定式化し、正準リンク関数を用い、共変量および低ランク効果を統合する。
• 核ノルムおよびランク制約の下で対数尤度を最適化するための効率的な射影勾配上昇アルゴリズムを開発する。
• アルゴリズムは、潜在要因と回帰係数の更新を交互に繰り返し、低ランク構造を強制するために核ノルム球上への射影を実行する。
• 本手法は無向および有向ネットワークをサポートし、整数重み付きおよび二値ネットワークへ自然に拡張可能である。
• 真の低ランク行列の有界性および設計行列のスパarsityを含む弱い正則性条件の下で、理論的整合性が確立されている。

実験結果

リサーチクエスチョン

• RQ1 低ランクGLMフレームワークは、二値・重み付き・有向・無向ネットワークを包括的にモデル化しつつ、共変量を組み込めるか？
• RQ2 提案された射影勾配上昇アルゴリズムは、MCMCベースの潜在空間モデルに比べて性能およびスケーラビリティで優れているか？
• RQ3 低ランク効果は、Last.fm や C. elegans といった実世界のネットワークにおけるリンク予測精度をどの程度向上させるか？
• RQ4 ランク $ r $ や核ノルム制約 $ R $ といったチューニングパラメータへの推定値の感度はどの程度か？
• RQ5 対称性や正定値性を要件としない一般な低ランク構造において、本モデルは一貫性のある推定を達成できるか？

主な発見

• C. elegans 神経ネットワークにおいて、ランク $ r = 26 $ および核ノルム $ R = 85 $ の条件下で予測AUCが 0.824 を達成し、はるかに計算コストの高いMCMCベースのベンチマークと同等の性能を示した。
• Last.fm データセットでは、両方の $ \widehat{\beta}_{\mathrm{lis}} $ および $ \widehat{\beta}_{\mathrm{tag}} $ が正であったことから、強いヒトミー効果が示唆され、$ r $ や $ R $ の値にかかわらず推定値は安定していた。
• 大規模ネットワークにおいて、本手法は潜在要因モデル（amenパッケージ）よりも計算効率に優れており、特に $ n = 2000 $ のデータセットでは後者が収束しなかった。
• $ n $ を 200 から 2000 に増加させた際、本手法の計算コストは約40倍に増加したが、対照的に潜在要因モデルでは120倍にまで増加した。これにより、本手法の優れたスケーラビリティが顕著に示された。
• 核ノルム制約 $ R $ が小さくなるにつれて、回帰係数の推定値は0に収束する傾向を示し、より厳しい核ノルム制約によるバイアスが生じていることが示された。
• 特定の条件下では、本手法は1ビット行列補完と同等であるが、i.i.d.欠損の仮定を越えて一般化されており、実世界のネットワークにおいてより現実的である。