[논문 리뷰] Estimating the inverse trace using random forests on graphs

Simon Barthelmé, Nicolas Tremblay외 3명|arXiv (Cornell University)|2019. 05. 06.

Markov Chains and Monte Carlo Methods참고 문헌 9인용 수 5

한 줄 요약

이 논문은 윌슨 알고리즘을 사용하여 균일한 확장수 나무를 샘플링함으로써 대각선 우세 행렬의 정규화된 역행렬의 추적에 대한 새로운 비편향 추정기법을 제안한다. 이 방법은 빠르고 메모리 효율적이며, 특히 $ s(q) $ 가 낮거나 중간 수준인 대규모 그래프에서 기존 몽테카를로 방법(예: 공액 그래디언트 및 대수적 멀티그리드)을 능가한다. 이는 백만 노드를 가진 그래프에서도 1초 이내의 런타임을 달성한다.

ABSTRACT

Some data analysis problems require the computation of (regularised) inverse traces, i.e. quantities of the form $\Tr (q \bI + \bL)^{-1}$. For large matrices, direct methods are unfeasible and one must resort to approximations, for example using a conjugate gradient solver combined with Girard's trace estimator (also known as Hutchinson's trace estimator). Here we describe an unbiased estimator of the regularized inverse trace, based on Wilson's algorithm, an algorithm that was initially designed to draw uniform spanning trees in graphs. Our method is fast, easy to implement, and scales to very large matrices. Its main drawback is that it is limited to diagonally dominant matrices $\bL$.

연구 동기 및 목표

• 정규화된 역행렬의 추적 $ s(q) = q \operatorname{Tr}((\mathbf{L} + q\mathbf{I})^{-1}) $ 를 추정하는 확장 가능하고 효율적인 추정기법을 개발하는 것.
• 큰 행렬에서 직접 고유값 계산이 비현실적이므로, 비용이 많이 드는 해법 대신 그래프 기반 샘플링으로 대체하는 것.
• 대각선 우세 행렬과 그래프 라플라시안의 구조를 활용하여 비편향이면서도 매우 병렬 처리 가능한 방법을 설계하는 것.
• 특히 대규모 환경에서 분산과 런타임을 줄이는 기존 몽테카를로 추정기법에 대한 실용적인 대안을 제공하는 것.

제안 방법

• 이 방법은 윌슨 알고리즘을 사용하여 그래프 상에서 균일한 확장수 나무를 생성하고, 이를 바탕으로 역행렬 추적의 비편향 추정기법을 구성한다.
• 각 랜덤 숲 실현은 추적의 샘플에 해당하며, 숲 내의 루트 수의 기대값은 $ s(q) $ 와 같다.
• 추정기법은 다수의 독립적인 숲 실현에서의 루트 수 평균을 계산하여 $ \hat{s}(q) $ 를 산출하며, 이는 행렬 역행렬 계산을 피한다.
• 이 방법은 대각선 우세 행렬 $ \mathbf{L} $ 에 국한되며, 이 경우 랜덤 숲 구성이 여전히 잘 정의되고 효율적이다.
• 노드 수에 비례하여 선형적으로 확장되며, 메모리 사용량은 $ \mathcal{O}(n) $ 비례하므로 매우 큰 그래프에 적합하다.
• 선형 시스템을 풀거나 고유값을 계산하지 않고도, 그래프 순회 및 나무 샘플링에 의존한다.

실험 결과

연구 질문

• RQ1 그래프 상의 랜덤 숲이 대규모 대각선 우세 행렬의 정규화된 역행렬 추적에 대해 비편향적이고 효율적인 추정기법을 제공할 수 있는가?
• RQ2 공액 그래디언트 및 대수적 멀티그리드와 같은 기존 몽테카를로 방법과 비교해 랜덤 숲 추정기법의 런타임과 분산 측면에서 성능은 어떠한가?
• RQ3 이 방법은 백만 노드를 가진 매우 큰 그래프에 얼마나 잘 스케일링되는가?
• RQ4 이 방법을 역행렬의 대각성분을 추정하는 데로 확장할 수 있는가? 이를 통해 보다 정교한 분석이 가능해지는가?

주요 결과

• 제안된 랜덤 숲 방법은 $ n \approx 27,000 $ 인 그래프에서 직접 해법과 경쟁 가능한 효과적인 런타임을 달성하며, 특히 $ s(q) $ 가 중간에서 높은 경우에 유리하다.
• 크기가 $ n = 1,000,000 $ 인 바라바시-알버트 그래프에서, $ q = 6 \times 10^{-3} $ 에서 랜덤 숲 실현당 약 0.2초 내에 $ s(q) \approx 100 $ 을 계산할 수 있다.
• 이 방법은 테스트 벤치마크에서 공액 그래디언트 및 AMG 조절 기법과 같은 반복적 해법을 능가한다. 특히 설정 비용이 0이고 메모리 사용량이 낮기 때문이다.
• 추정기법은 비편향이며, 추적과 자연스럽게 스케일링되는 분산 구조를 가지므로 AIC 및 GCV 기반 정규화 파rameter 선택에 적합하다.
• 특히 $ s(q) $ 가 클 경우에 매우 효율적이며, 고정된 상대 오차를 확보하기 위해 필요한 숲 실현 수가 감소하기 때문이다.