[論文レビュー] Regularized Laplacian Estimation and Fast Eigenvector Approximation

Patrick O. Perry, Michael W. Mahoney|arXiv (Cornell University)|Oct 8, 2011

Markov Chains and Monte Carlo Methods参考文献 16被引用数 4

ひとこと要約

この論文は、グラフラプラシアンの拡散ベースの固有ベクトル近似手法について統計的解釈を提供し、それらがグラフラプラシアンの疑似逆行列を推定する正則化された半定値計画問題（SDP）を暗黙的に解いていることを示している。主な貢献は、高速なPageRank型アルゴリズムとWishart事前分布下での最尤推定（MAP）を結びつけることで、計算の高速化が本質的に統計的正則化を伴うことを明らかにしている。

ABSTRACT

Recently, Mahoney and Orecchia demonstrated that popular diffusion-based procedures to compute a quick \emph{approximation} to the first nontrivial eigenvector of a data graph Laplacian \emph{exactly} solve certain regularized Semi-Definite Programs (SDPs). In this paper, we extend that result by providing a statistical interpretation of their approximation procedure. Our interpretation will be analogous to the manner in which $\ell_2$-regularized or $\ell_1$-regularized $\ell_2$-regression (often called Ridge regression and Lasso regression, respectively) can be interpreted in terms of a Gaussian prior or a Laplace prior, respectively, on the coefficient vector of the regression problem. Our framework will imply that the solutions to the Mahoney-Orecchia regularized SDP can be interpreted as regularized estimates of the pseudoinverse of the graph Laplacian. Conversely, it will imply that the solution to this regularized estimation problem can be computed very quickly by running, e.g., the fast diffusion-based PageRank procedure for computing an approximation to the first nontrivial eigenvector of the graph Laplacian. Empirical results are also provided to illustrate the manner in which approximate eigenvector computation \emph{implicitly} performs statistical regularization, relative to running the corresponding exact algorithm.

研究の動機と目的

• グラフラプラシアンの高速な拡散ベースの固有ベクトル近似手法について、統計的解釈を提供すること。
• これらのヒューリスティックな手順が、リッジ回帰やラッソ回帰に類似した正則化されたSDPを暗黙的に解いていることを示すこと。
• Mahoney-Orecchiaの正則化されたSDPの解を、母集団ラプラシアンの疑似逆行列に対する最尤推定（MAP）推定問題として定式化すること。
• この正則化推定問題の解が、PageRankのような高速な拡散ベースのアルゴリズムを用いて、実際に効率的に計算できることを示すこと。
• 暗黙の正則化が正確だが正則化されていない手法と比較して推定精度を向上させることを、実験的に検証すること。

提案手法

• 観測されたグラフラプラシアンが母集団ラプラシアンのノイズのある実現であると仮定する統計的サンプリングモデルを構築すること。
• 精度行列にWishart事前分布を設定し、母集団ラプラシアンの逆行列をMAP推定によって推定するベイズ推定フレームワークを定義すること。
• MAP推定が、目的関数 Tr(LX) + (1/η)·(-log|X|) を持つ正則化されたSDPに帰着することを導出すること。これはMahoney-Orecchiaの定式化と一致する。
• この正則化されたSDPの解が、PageRankのような高速な拡散ベースのアルゴリズムを用いて、実際に効率的に計算できることを示すこと。
• サンプルグラフを用いたモンテカルロシミュレーションにより、正則化済みと正則化されていない推定器の相対的性能を評価すること。
• 最適な正則化パラメータ η* が標本サイズとグラフ構造にどのように依存するかを分析し、理論的予測を検証すること。

実験結果

リサーチクエスチョン

• RQ1 高速な拡散ベースの固有ベクトル近似手法は、正則化された統計的推定問題を解いていると解釈できるか？
• RQ2 Mahoney-Orecchiaの研究で用いられる正則化されたSDP定式化のベイズ的解釈は何か？
• RQ3 高速アルゴリズムにおける暗黙の正則化と、明示的な正則化の推定精度の違いは何か？
• RQ4 グラフラプラシアン推定の文脈において、正則化パラメータ η の最適値は何か？
• RQ5 正則化推定器の性能は、標本サイズとグラフ構造にどのように依存するか？

主な発見

• Mahoney-Orecchiaの正則化されたSDPの解は、Wishart事前分布下でのグラフラプラシアンの疑似逆行列に対するMAP推定と解釈できる。
• SDPにおける正則化項 G(X) = -log|X| は、精度行列に対する共役事前分布に対応し、アルゴリズムがベイズ推論と結びつくことを示している。
• PageRankのような高速な拡散ベースの手続きは、この正則化されたSDPを正確に解くことができ、明示的なSDPの解法なしに効率的な計算が可能になる。
• 実験結果から、暗黙の正則化が推定精度を向上させることを示しており、特にノイズが多いまたはスパースなサンプリング条件下で顕著である。
• 正則化パラメータ η に「最適な領域（スイートスポット）」が存在し、そのピーク性能が得られ、最適な η* は標本サイズとグラフの拡張性（s で測定）に応じて増加する。
• 最適な正則化パラメータ η* は、標本サイズが増加するにつれて、母集団ラプラシアンの疑似逆行列のトレースに単調に収束する。