[논문 리뷰] Fast Eigenspace Approximation using Random Signals

Johan Paratte, Lionel Martin|arXiv (Cornell University)|2016. 11. 03.

Complex Network Analysis Techniques참고 문헌 3인용 수 14

한 줄 요약

이 논문은 그래프 라플라시안의 첫 번째 $k$ 고유벡터를 근사하기 위한 빠른 방법을 제안한다. 이 방법은 라플라시안 행렬을 통과하는 데에 단지 $k$개의 가우시안 랜덤 신호만을 사용한다. $k$개의 신호로 가장 작은 $k$개의 고유벡터를 정확하게 복원할 수 있음을 증명하였으며, 고유공간 근사와 $k$번째 고유값 추정을 위한 효율적인 알고리즘을 도입하여 $N$에 대해 선형 스케일링을 달성하면서도 거의 완벽한 재구성 성능을 보였다.

ABSTRACT

We focus in this work on the estimation of the first $k$ eigenvectors of any graph Laplacian using filtering of Gaussian random signals. We prove that we only need $k$ such signals to be able to exactly recover as many of the smallest eigenvectors, regardless of the number of nodes in the graph. In addition, we address key issues in implementing the theoretical concepts in practice using accurate approximated methods. We also propose fast algorithms both for eigenspace approximation and for the determination of the $k$th smallest eigenvalue $λ_k$. The latter proves to be extremely efficient under the assumption of locally uniform distribution of the eigenvalue over the spectrum. Finally, we present experiments which show the validity of our method in practice and compare it to state-of-the-art methods for clustering and visualization both on synthetic small-scale datasets and larger real-world problems of millions of nodes. We show that our method allows a better scaling with the number of nodes than all previous methods while achieving an almost perfect reconstruction of the eigenspace formed by the first $k$ eigenvectors.

연구 동기 및 목표

• 데이터 분석 작업에서 대규모 그래프 라플라시안의 정확한 고유분해에 따른 높은 계산 비용을 해결한다.
• 비용이 많이 드는 SVD나 반복적 고유값 해법을 피하는 스케일러블한 스펙트럴 클러스터링 및 차원 축소 기법을 개발한다.
• 최소한의 랜덤 신호 필터링을 통해 정확한 저랭크 고유공간 근사를 가능하게 한다.
• 국소적으로 균일한 고유값 분포를 가정할 때 $k$번째로 작은 고유값 $λ_k$를 효율적으로 추정할 수 있는 알고리즘을 설계한다.
• 노드 수 $N$에 대해 선형으로 스케일링되면서도 거의 완벽한 고유공간 재구성을 달성한다.

제안 방법

• 라플라시안 행렬 $\mathcal{L}$ 을 통과하는 데에 $k$개의 i.i.d. 가우시안 랜덤 신호를 사용하며, 행렬의 거듭제곱 또는 다항식 필터를 적용한다.
• 낮은 랭크 SVD를 통해 필터링된 신호를 고유공간에 투영하여 $k$개의 신호로 첫 번째 $k$개의 고유벡터를 정확히 복원한다.
• 직교 투영에 대한 가우시안 분포의 불변성을 활용하여 변환 과정 동안 통계적 성질을 유지한다.
• 고유값 분포를 필터링된 신호 스펙트럼에서 분석하여 eigencount 기법을 사용해 $\lambda_k$를 효율적으로 추정한다.
• 수치적 안정성과 효율성을 향상시키기 위해 이상적 저통과 필터를 다항식 또는 지수 감쇠 커널로 근사한다.
• 완전한 행렬 대각화를 피하는 빠른 단일 스레드 알고리즘을 구현하여 복잡도를 $\mathcal{O}(k^2N)$으로 감소시킨다.

실험 결과

연구 질문

• RQ1 그래프 라플라시안의 첫 번째 $k$개의 가장 작은 고유벡터를 정확하게 복원하는 데에 $k$개의 가우시안 랜덤 신호로 충분한가?
• RQ2 완전한 고유분해 없이도 $k$번째로 작은 고유값 $\lambda_k$를 효율적으로 추정할 수 있는가?
• RQ3 보장된 수렴성을 확보하면서도 정확한 고유공간 근사를 달성하기 위해 필요한 최소한의 랜덤 신호 수는 얼마인가?
• RQ4 표준 필터링 방식에 비해 다항식 또는 부드러운 커널 필터가 고유공간 복원의 효율성과 안정성 향상에 기여하는가?
• RQ5 t-SNE나 LargeVis와 같은 최신 기술과 비교했을 때, 수백만 개의 노드를 가진 대규모 그래프에서 제안된 방법은 실제로 어떻게 스케일링되는가?

주요 결과

• 이 방법은 그래프 크기 $N$과 관계없이 단지 $k$개의 가우시안 랜덤 신호로 첫 번째 $k$개의 고유벡터를 정확히 복원할 수 있다.
• 알고리즘은 $N$에 대해 선형으로 스케일링되며, 복잡도는 $\mathcal{O}(k^2N)$으로 표준 SVD 및 반복적 방법보다 크게 뛰어나다.
• MNIST 데이터셋에서 이 방법은 2차원 임베딩을 0.06시간에 계산했고, t-SNE는 0.46시간, LargeVis는 0.26시간이 소요되었다.
• LiveJournal(180만 노드)에서 이 방법은 78.79시간 내로 완료되었으며, 라플라시안 고유매핑은 128GB 이상의 메모리를 초과하여 실패했다.
• t-SNE보다 10배 빠르며, 비록 시각화 품질은 그들에 미치지 못하지만, LargeVis보다도 빠른 속도를 보였다.
• 국소적으로 균일한 고유값 분포를 가정할 경우 제안된 고유값 추정 알고리즘이 매우 효율적이며, $\lambda_k$ 탐지에 빠른 속도를 제공한다.