[論文レビュー] Bias-Variance Tradeoffs in Joint Spectral Embeddings

Benjamin Draves, Daniel L. Sussman|arXiv (Cornell University)|May 5, 2020

Complex Network Analysis Techniques参考文献 47被引用数 4

ひとこと要約

本稿は、異種ネットワークデータにおける連合スペクトル埋め込みのオムニバス埋め込みを分析し、明示的な有限標本バイアス・バナスのトレードオフを確立する。バイアス、集中性の上限、および漸近正規性の解析的表現を導出し、推定量の不一致性にもかかわらず有効な推論を可能にするとともに、Eigen-Scaling Random Dot Product Graphモデル下でのコミュニティ検出および仮説検定において性能が向上することを示す。

ABSTRACT

Joint spectral embeddings facilitate analysis of multiple network data by simultaneously mapping vertices in each network to points in Euclidean space where statistical inference is then performed. In this work, we consider one such joint embedding technique, the omnibus embedding of arXiv:1705.09355 , which has been successfully used for community detection, anomaly detection, and hypothesis testing tasks. To date the theoretical properties of this method have only been established under the strong assumption that the networks are conditionally i.i.d. random dot product graphs. Herein, we take a first step in characterizing the theoretical properties of the omnibus embedding in the presence of heterogeneous network data. Under a latent position model, we show the omnibus embedding implicitly regularizes its latent position estimates which induces a finite-sample bias-variance tradeoff for latent position estimation. We establish an explicit bias expression, derive a uniform concentration bound on the residual, and prove a central limit theorem characterizing the distributional properties of these estimates. These explicit bias and variance expressions enable us to state sufficient conditions for exact recovery in community detection tasks and develop a pivotal test statistic to determine whether two graphs share the same set of latent positions; demonstrating that accurate inference is achievable despite the estimator's inconsistency. These results are demonstrated in several experimental settings where statistical procedures utilizing the omnibus embedding are competitive, and oftentimes preferable, to comparable embedding techniques. These observations accentuate the viability of the omnibus embedding for multiple graph inference beyond the homogeneous network setting.

研究の動機と目的

• 異種ネットワークモデル下でのオムニバス埋め込みの有限標本的挙動を特徴づけること。これは、i.i.d.仮定を越えるものである。
• オムニバス埋め込みが潜在的位置推定に及ぼす暗黙的なバイアス・バナストレードオフを特定・定量化すること。
• ネットワークの非均一性が存在する状況下で、潜在的位置推定に対する理論的保証（バイアスの表現、集中性、漸近正規性）を確立すること。
• 推定量の不一致性にもかかわらず、コミュニティ検出における正確回復およびピボット的仮説検定を含む有効な統計的推論を可能にすること。

提案手法

• マルチプレックスネットワークに拡張されたRDPGを拡張した、異種ネットワークモデルとしてのEigen-Scaling Random Dot Product Graph (ESRDPG) を提案する。
• ESRDPG下で、オムニバス埋め込みの潜在的位置推定の有限標本バイアスに対して明示的な解析的表現を導出する。
• 潜在的位置推定の残差誤差に対して一様な集中性の上限を確立する。
• 中心極限定理を証明し、潜在的位置推定の漸近正規性を示し、既知の分散共分散構造を持つことを明らかにする。
• 漸近分布に基づくピボット的検定統計量を考案し、2つのグラフが同じ潜在的位置を持つかどうかを検定する。
• 2次のデルタ法およびスルツキーの定理を用いて、帰無仮説および対立仮説の下での検定統計量の漸近分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 異種ネットワークデータにオムニバス埋め込みを適用した場合、有限標本バイアスの性質は何か？
• RQ2 オムニバス埋め込みの暗黙的な正則化は、潜在的位置推定におけるバイアス・バナストレードオフをどのように誘発するか？
• RQ3 推定量の不一致性が生じる異種モデル下でも、有効な統計的推論は可能か？
• RQ4 異種ネットワーク下で、オムニバス埋め込みを用いたコミュニティ検出における正確回復のための十分条件は何か？
• RQ5 推定量が不一致であっても、2つのグラフが同じ潜在的位置を持つかどうかを判別するピボット的検定統計量を構築できるか？

主な発見

• ESRDPGモデル下で、オムニバス埋め込みは潜在的位置推定に有限標本バイアスを誘発し、その明示的な解析的表現が導出された。
• 潜在的位置推定の残差誤差に対して一様な集中性の上限が確立され、推定のばらつきが制御されることを保証する。
• 潜在的位置推定の漸近分布が、既知の分散共分散行列を持つ正規分布の混合分布であることが示され、厳密な推論が可能となった。
• 帰無仮説下で、ピボット的検定統計量 $ W_i $ は漸近的に $ \chi^2_d $ 分布に従うことが示され、有効な仮説検定が可能となった。
• 対立仮説下でも検定のパワーを維持し、漸近分布はグラフ固有の変換行列 $ \mathbf{S}^{(1)} $ と $ \mathbf{S}^{(2)} $ の差に依存する。
• 推定量の不一致性にもかかわらず、理論的枠組みによりコミュニティ検出における正確回復が可能となり、実験的設定でも競争力のある性能を示した。