[論文レビュー] Out-of-sample Extension for Latent Position Graphs

Minh Tang, Youngser Park+1 more|arXiv (Cornell University)|May 21, 2013

Data Management and Algorithms参考文献 36被引用数 3

ひとこと要約

本稿は、潜在位置グラフ埋め込みのためのサンプル外拡張を提案し、全グラフの再埋め込みを伴わずに、効率的かつ一貫性のある新しい頂点の分類を可能にする。潜在位置モデルの下で、サンプル外頂点の埋め込みが真の潜在位置に確率的に収束することを証明し、グラフサイズが増大するに従い、高確率で普遍的一致性のある推論を保証する。

ABSTRACT

We consider the problem of vertex classification for graphs constructed from the latent position model. It was shown previously that the approach of embedding the graphs into some Euclidean space followed by classification in that space can yields a universally consistent vertex classifier. However, a major technical difficulty of the approach arises when classifying unlabeled out-of-sample vertices without including them in the embedding stage. In this paper, we studied the out-of-sample extension for the graph embedding step and its impact on the subsequent inference tasks. We show that, under the latent position graph model and for sufficiently large $n$, the mapping of the out-of-sample vertices is close to its true latent position. We then demonstrate that successful inference for the out-of-sample vertices is possible.

研究の動機と目的

• 潜在位置グラフモデルにおける新しいラベルなし頂点（サンプル外頂点）の分類において、再埋め込みの計算非効率性を解消すること。
• 頂点分類の文脈において、サンプル外頂点埋め込みの正確性に関する理論的保証を確立すること。
• 提案されたサンプル外拡張が、分類などの下流の推論タスクの一貫性を保つことを示すこと。
• 各新しい頂点ごとに全スペクトル再計算を行う代替手段として、計算的に効率的な手法を提供すること。

提案手法

• グラフの隣接スペクトル埋め込みに基づくサンプル外拡張マッピングを提案し、隣接行列 A の固有値分解を用いる。
• 再現核ヒルベルト空間における経験的カーネルおよび射影作用素を用いて、サンプル外頂点の埋め込みを線形変換により定義する。
• 経験的射影部分空間と真の射影部分空間の等長同型写像を用いて、推定された潜在位置と真の潜在位置の間の距離を制限する。
• 濃縮不等式およびスペクトル収束結果を適用して、サンプル外頂点の埋め込みにおける誤差を制御する。
• サンプル外埋め込みが、$ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $ のレートで真の潜在位置に収束することを確立し、ここで $ \delta_d $ はスペクトルギャップ、$ \rho_n $ はエッジ密度を制御する。
• ランダム行列理論およびカーネル法の結果を活用して、分類に必要な幾何的構造が保存されることを示す。

実験結果

リサーチクエスチョン

• RQ1 全スペクトル分解を再計算せずに、グラフの潜在空間にサンプル外頂点を埋め込むことは可能か？
• RQ2 潜在位置モデルの下で、サンプル外埋め込みは真の潜在位置からどの程度近いか？
• RQ3 提案されたサンプル外拡張は、頂点分類の普遍的一致性を保つのか？
• RQ4 サンプル外埋め込みの真の潜在位置への収束レートは何か？
• RQ5 本手法は、ストリーミングまたは逐次的頂点追加が行われる大規模グラフに効率的に適用可能か？

主な発見

• サンプル外頂点の埋め込みは、確率的に真の潜在位置に収束し、収束レートは $ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $ である。ここで $ \delta_d $ はスペクトルギャップ、$ \rho_n $ はエッジ密度を制御する。
• 提案されたサンプル外拡張により、初期埋め込みに含まれない新しい頂点の分類が、普遍的一致性を保って行えることが保証される。
• 経験的空間から真の潜在空間へのマッピングが等長同型写像であることが示され、推論に必要な幾何的構造が保存される。
• 誤差バウンドは濃縮不等式およびスペクトル収束結果を用いて導出され、高確率 $ 1 - \eta $ で成立する。
• 既存の埋め込みに基づく線形マッピングを用いることで、全スペクトル再計算の $ O(n^3) $ のコストを回避できる。
• 十分に大きな $ n $ に対して、潜在位置モデルの下で理論的保証が成立し、新しい頂点に対する信頼性の高い推論が保証される。