[論文レビュー] Maximum Likelihood Latent Space Embedding of Logistic Random Dot Product Graphs

Luke J. O’Connor, Muriel Médard+1 more|arXiv (Cornell University)|Oct 3, 2015

Face and Expression Recognition参考文献 30被引用数 3

ひとこと要約

本稿では、Logistic RDPGにおける潜在空間埋め込みのための最尤推定法を提案する。スペクトル的手法に、独自の回帰スケーリング手順を組み合わせることで、漸近的に正確な推定を達成する。この手法は、ヒューリスティックなスペクトル的手法に比べて、特にコミュニティ検出タスクにおいて、より高いロバスト性と正確性を実現する。

ABSTRACT

A latent space model for a family of random graphs assigns real-valued vectors to nodes of the graph such that edge probabilities are determined by latent positions. Latent space models provide a natural statistical framework for graph visualizing and clustering. A latent space model of particular interest is the Random Dot Product Graph (RDPG), which can be fit using an efficient spectral method; however, this method is based on a heuristic that can fail, even in simple cases. Here, we consider a closely related latent space model, the Logistic RDPG, which uses a logistic link function to map from latent positions to edge likelihoods. Over this model, we show that asymptotically exact maximum likelihood inference of latent position vectors can be achieved using an efficient spectral method. Our method involves computing top eigenvectors of a normalized adjacency matrix and scaling eigenvectors using a regression step. The novel regression scaling step is an essential part of the proposed method. In simulations, we show that our proposed method is more accurate and more robust than common practices. We also show the effectiveness of our approach over standard real networks of the karate club and political blogs.

研究の動機と目的

• ランダムドットプロダクトグラフ（RDPG）の潜在空間埋め込みにおいて、ヒューリスティックなスペクトル手法が失敗する要因、特に高次数ノードとコミュニティを分離できない点を解決すること。
• 密接に関連するモデル、すなわちLogistic RDPGにおける潜在位置の統計的に妥当な、最尤に基づく推定手法を開発すること。
• スペクトルアルゴリズムに回帰スケーリング手順を組み合わせることで、潜在ベクトルの漸近的に正確な最尤推定が実現可能であることを示すこと。
• 標準的なスペクトル的手法やヒューリスティック手法と比較して、グラフクラスタリングおよびコミュニティ検出におけるロバスト性と正確性を向上させること。

提案手法

• エッジ確率が潜在ベクトルの内積にロジスティックリンク関数を適用することでモデル化されるLogistic RDPGモデルを提案する。
• 平均中心化された隣接行列の上位固有ベクトルを、潜在位置の初期推定値として用いる。
• 固有ベクトルのスケーリングを是正するための、独自の回帰スケーリング手順を導入し、最尤推定と整合性を保つ。
• 最尤推定を最大化するための固有値を推定するためにロジスティック回帰モデルを適用し、スペクトル解を真の潜在構造と結びつける。
• ランク制約およびノルム制約の下で対数尤度を最大化する制約付き最適化フレームワークを用いて、潜在ベクトルを回復する。
• 理論的分析により、ネットワークサイズが増加するにつれて、解が一様に最尤推定値に収束することを示している。

実験結果

リサーチクエスチョン

• RQ1 スペクトル的手法は、Logistic RDPGモデルにおいて、漸近的に正確な最尤推定を達成できるか？
• RQ2 提案手法は、ヒューリスティックなスペクトル手法と比較して、コミュニティ検出においてどのようにロバスト性と正確性を向上させるか？
• RQ3 回帰スケーリング手順は、固有ベクトルのスケーリングを是正し、推定品質を向上させるために果たす役割は何か？
• RQ4 ネットワークサイズが増加する条件下でも、この手法は真の潜在位置に一貫して収束するか？
• RQ5 実世界のネットワーク、たとえばカレッジ・クラブや政治的ブログネットワークにおいて、標準的手法と比較して、この手法はどのように性能を発揮するか？

主な発見

• 提案手法は、Logistic RDPGモデルにおける潜在位置ベクトルの漸近的に正確な最尤推定を達成する。
• 回帰スケーリング手順は、固有ベクトルのスケーリングを是正し、最尤解と整合性を保つために不可欠である。
• シミュレーションの結果、本手法は一般的なヒューリスティックなスペクトル手法よりも、特にコミュニティ検出において、より正確でロバストであることが示された。
• 本手法は、カレッジ・クラブや政治的ブログデータセットを含む実世界のネットワークにおいて、標準的手法を上回る性能を発揮した。
• 理論的分析により、ネットワークサイズが増加するにつれて、提案手法の解と真の最尤推定値との間の対数尤度比が一様にゼロに収束することが確認された。
• 本手法は、ヒューリスティックなスペクトルクラスタリングの統計的に妥当な代替手法を提供し、一貫性および収束保証を明示的に示している。