[논문 리뷰] Regularized Laplacian Estimation and Fast Eigenvector Approximation

Patrick O. Perry, Michael W. Mahoney|arXiv (Cornell University)|2011. 10. 08.

Markov Chains and Monte Carlo Methods참고 문헌 16인용 수 4

한 줄 요약

이 논문은 그래프 라플라시안에 대한 확산 기반 고유벡터 근사 방법에 대한 통계적 해석을 제공하며, 이는 그래프 라플라시안의 의사역행렬을 추정하는 정규화된 준정적형계획문(SDP)을 암묵적으로 해결하는 것으로 밝혀진다. 주요 기여는 빠른 PageRank 스타일 알고리즘을 위샤르 prior 하에 최대사후확률(MAP) 추정과 연결함으로써, 계산 속도 향상이 본질적으로 통계적 정규화를 수반한다는 것을 드러내는 것이다.

ABSTRACT

Recently, Mahoney and Orecchia demonstrated that popular diffusion-based procedures to compute a quick \emph{approximation} to the first nontrivial eigenvector of a data graph Laplacian \emph{exactly} solve certain regularized Semi-Definite Programs (SDPs). In this paper, we extend that result by providing a statistical interpretation of their approximation procedure. Our interpretation will be analogous to the manner in which $\ell_2$-regularized or $\ell_1$-regularized $\ell_2$-regression (often called Ridge regression and Lasso regression, respectively) can be interpreted in terms of a Gaussian prior or a Laplace prior, respectively, on the coefficient vector of the regression problem. Our framework will imply that the solutions to the Mahoney-Orecchia regularized SDP can be interpreted as regularized estimates of the pseudoinverse of the graph Laplacian. Conversely, it will imply that the solution to this regularized estimation problem can be computed very quickly by running, e.g., the fast diffusion-based PageRank procedure for computing an approximation to the first nontrivial eigenvector of the graph Laplacian. Empirical results are also provided to illustrate the manner in which approximate eigenvector computation \emph{implicitly} performs statistical regularization, relative to running the corresponding exact algorithm.

연구 동기 및 목표

• 그래프 라플라시안에 대한 빠른 확산 기반 고유벡터 근사 방법에 대한 통계적 해석을 제공한다.
• 이러한 히우리스틱 절차들이 릿지 또는 라소 회귀와 유사한 정규화된 준정적형계획문(SDP)을 암묵적으로 해결한다는 것을 보여준다.
• 마호니-오레치야의 정규화된 SDP 해법을 인구 라플라시안의 의사역행렬에 대한 최대사후확률(MAP) 추정 문제로 재구성한다.
• 이 정규화된 추정 문제의 해가 PageRank와 같은 빠른 확산 기반 알고리즘을 통해 효율적으로 계산될 수 있음을 보여준다.
• 암묵적 정규화가 정확도를 향상시켜 정확하지만 정규화되지 않은 방법보다 우수한 성능을 보임을 실증적으로 검증한다.

제안 방법

• 관측된 그래프 라플라시안을 인구 라플라시안의 노이즈 있는 실현값으로 간주하는 통계적 샘플링 모델을 설정한다.
• 정밀도 행렬에 위샤르 prior를 두고, 인구 라플라시안의 역행렬을 MAP 추정을 통해 추정하는 베이지안 추정 프레임워크를 정의한다.
• MAP 추정이 Tr(LX) + (1/η)·(-log|X|) 목적함수를 갖는 정규화된 SDP로 이어지며, 이는 마호니-오레치야의 형태와 일치함을 도출한다.
• 이 정규화된 SDP의 해가 PageRank와 같은 빠른 확산 기반 알고리즘으로 효율적으로 계산될 수 있음을 보여준다.
• 샘플드 그래프를 사용한 몬테카를로 시뮬레이션을 통해 정규화된 추정기와 정규화되지 않은 추정기의 상대적 성능을 평가한다.
• 최적의 정규화 파라미터 η*가 표본 크기와 그래프 구조에 어떻게 의존하는지 분석하여 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 빠른 확산 기반 고유벡터 근사 방법은 정규화된 통계적 추정 문제를 해결하는 것으로 해석될 수 있는가?
• RQ2 마호니-오레치야의 연구에서 사용된 정규화된 SDP 설정에 대한 베이지안 해석은 무엇인가?
• RQ3 빠른 알고리즘에서의 암묵적 정규화는 정확도 측면에서 명시적 정규화와 어떻게 비교되는가?
• RQ4 그래프 라플라시안 추정의 맥락에서 정규화 파라미터 η의 최적 값은 무엇인가?
• RQ5 정규화된 추정기의 성능은 표본 크기와 그래프 구조에 어떻게 의존하는가?

주요 결과

• 마호니-오레치야의 정규화된 SDP 해법은 위샤르 prior 하에 그래프 라플라시안의 의사역행렬에 대한 MAP 추정으로 해석될 수 있다.
• SDP의 정규화 항 G(X) = -log|X|는 정밀도 행렬에 대한 공액 prior를 나타내며, 이는 알고리즘과 베이지안 추론을 연결한다.
• PageRank와 같은 빠른 확산 기반 절차는 정확히 이 정규화된 SDP를 해결하므로, 명시적인 SDP 해법 없이도 효율적인 계산이 가능하다.
• 실증 결과에 따르면 암묵적 정규화가 정확도를 향상시키며, 특히 노이즈가 많거나 희소한 표본 조건에서 두드러진다.
• 정규화 파라미터 η에 대해 '최적의 점(sweet spot)' 이 존재하며, 이 최적의 η*는 표본 크기와 그래프의 확장성(s로 측정됨)이 증가함에 따라 증가한다.
• 최적의 정규화 파라미터 η*는 표본 크기가 증가함에 따라 인구 라플라시안의 의사역행렬의 트레이스로 단조롭게 수렴한다.