[論文レビュー] Exploration of Large Networks with Covariates via Fast and Universal Latent Space Model Fitting

Zhuang Ma, Zongming Ma|arXiv (Cornell University)|May 5, 2017

Complex Network Analysis Techniques参考文献 53被引用数 13

ひとこと要約

本稿では、エッジ共変量を伴う大規模ネットワークにおける内積潜在空間モデルのフィッティングのために、2つの高速でスケーラブルなアルゴリズム—核ノルムペナルティ法と投影勾配降下法—を提案する。これらの手法により、保証された収束速度を達成しつつ、コミュニティ検出やネットワーク支援学習を効率的に行える。モデルの誤指定に対してもロバストであるため、現実のスケールの大きなネットワークに適している。

ABSTRACT

Latent space models are effective tools for statistical modeling and exploration of network data. These models can effectively model real world network characteristics such as degree heterogeneity, transitivity, homophily, etc. Due to their close connection to generalized linear models, it is also natural to incorporate covariate information in them. The current paper presents two universal fitting algorithms for networks with edge covariates: one based on nuclear norm penalization and the other based on projected gradient descent. Both algorithms are motivated by maximizing likelihood for a special class of inner-product models while working simultaneously for a wide range of different latent space models, such as distance models, which allow latent vectors to affect edge formation in flexible ways. These fitting methods, especially the one based on projected gradient descent, are fast and scalable to large networks. We obtain their rates of convergence for both inner-product models and beyond. The effectiveness of the modeling approach and fitting algorithms is demonstrated on five real world network datasets for different statistical tasks, including community detection with and without edge covariates, and network assisted learning.

研究の動機と目的

• 従来のMCMC手法が計算的に非現実的である大規模ネットワークにおけるエッジ共変量を伴う潜在空間モデルのフィッティングという課題に対処すること。
• 内積モデルに注目することで、距離モデルや射影モデルを含む多様な潜在空間モデルに適用可能な統一的フレームワークを構築すること。
• 統計的整合性とモデル誤指定に対するロバスト性を維持しつつ、大規模ネットワークにおけるスケーラビリティと高速性を確保すること。
• 高速で汎用的なフィッティングアルゴリズムを用いて、コミュニティ検出やネットワーク支援学習といった実用的ネットワーク探索タスクを可能にすること。

提案手法

• エッジ確率が潜在ベクトルと共変量の内積に依存する、内積潜在空間モデルの普遍的クラスを提案する。
• 潜在空間における低ランク構造を促進する核ノルムペナルティ法を設計し、効率的な最適化とモデル選択を可能にする。
• 潜在ベクトルと回帰係数を交互に更新する投影勾配降下法を開発し、射影により低ランク制約を保証する。
• 行列分解を活用して、低ランク制約および非負性制約の下で尤度に類似した目的関数を最大化する最適化問題に定式化する。
• 推定誤差を測るためのデータ依存ノルム(·)ₜᵣを導入し、弱い正則性条件の下での収束解析を可能にする。
• 行列摂動理論と集中不等式を用いて、モデルが誤指定されている場合でさえも両アルゴリズムの理論的収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 距離モデルや射影モデルを含む広範な潜在空間モデルに適用可能な、1つの高速なフィッティングアルゴリズムを設計できるか？
• RQ2 解釈可能性とスケーラビリティを損なわずに、エッジ共変量を潜在空間モデルに統合する方法は何か？
• RQ3 モデルが誤指定されている場合に、提案手法の理論的収束速度はどのようになるか？
• RQ4 提案手法は、現実の大規模ネットワークにおいて、正確なコミュニティ検出とネットワーク支援学習を達成できるか？
• RQ5 大規模ネットワークにおいて、投影勾配降下法と核ノルムペナルティ法の速度と精度の面での性能比較はいかがなっているか？

主な発見

• 投影勾配降下法は、線形収束速度 (1−ηγₙ)ᵗ を達成し、問題固有の定数ηとγₙにより、真の潜在構造への高速収束を保証する。
• 核ノルムペナルティ法は一貫した低ランク推定を提供し、弱い仮定の下でも収束を達成する。誤差はO((1−ηγₙ)ᵗ‖x₀−x⋆‖ₜᵣ² + e²ᴹ¹λₙ²k + ‖Ḡₖ‖*²/k + ‖Ḡₖ‖F²)で有界である。
• 理論的解析により、真のモデルが内積クラスに完全に表現されない場合でも、両アルゴリズムが統計的整合性を維持することが示された。
• 5つの実世界データセットにおける実験的評価により、共変量あり・なしの両状況で、標準的手法を上回るコミュニティ検出性能が確認された。
• アルゴリズムは大規模ネットワークに対しても効率的にスケーリングされ、リアルタイムのネットワーク探索や可視化タスクに適した実行時間性能を示した。
• フレームワークにより、潜在構造とエッジ共変量を活用したネットワーク支援学習が可能となり、下流タスクにおける予測精度が向上した。