[논문 리뷰] Fast Bidirectional Probability Estimation in Markov Models

Siddhartha Banerjee, Peter Lofgren|arXiv (Cornell University)|2015. 07. 21.

Markov Chains and Monte Carlo Methods참고 문헌 20인용 수 24

한 줄 요약

이 논문은 희박한 마르코프 체인에서 다단계 전이 확률을 신속하고 정확하게 추정하기 위한 새로운 이방향 알고리즘을 소개한다. 목적 상태에서의 역방향 국소 거듭제곱 반복와 정방향 몬테카를로 샘플링을 조합함으로써, 임계값 δ보다 큰 확률을 탐지하는 데 $O(1/\sqrt{\delta})$의 실행 시간을 달성하며, 사회적 그래프와 같은 희박한 네트워크에서 기존 몬테카를로 및 거듭제곱 반복 기법보다 수개의 주기로 빠른 성능을 발휘한다.

ABSTRACT

We develop a new bidirectional algorithm for estimating Markov chain multi-step transition probabilities: given a Markov chain, we want to estimate the probability of hitting a given target state in $\ell$ steps after starting from a given source distribution. Given the target state $t$, we use a (reverse) local power iteration to construct an `expanded target distribution', which has the same mean as the quantity we want to estimate, but a smaller variance -- this can then be sampled efficiently by a Monte Carlo algorithm. Our method extends to any Markov chain on a discrete (finite or countable) state-space, and can be extended to compute functions of multi-step transition probabilities such as PageRank, graph diffusions, hitting/return times, etc. Our main result is that in `sparse' Markov Chains -- wherein the number of transitions between states is comparable to the number of states -- the running time of our algorithm for a uniform-random target node is order-wise smaller than Monte Carlo and power iteration based algorithms; in particular, our method can estimate a probability $p$ using only $O(1/\sqrt{p})$ running time.

연구 동기 및 목표

• 마르코프 체인에서 다단계 전이 확률을 추정하는 데 있어 기존 방법—몬테카를로 및 거듭제곱 반복—의 계산 비효율성을 해결하기 위해.
• 모든 이산 상태 마르코프 체인(비가역 및 비대칭 체인 포함)에 적용 가능한 일반 목적의 이방향 알고리즘을 개발하기 위해.
• 특히 전이 수가 상태 수와 유사한 수준인 희박한 마르코프 체인에서 기존 기법보다 주기적으로 더 빠른 실행 시간을 달성하기 위해.
• 대규모 네트워크에서 페이지랭크, 그래프 확산, 열핵 계산 등의 응용 분야를 위해 전이 확률을 효율적으로 추정하기 위해.
• 목표에 맞는 구조에 동적으로 적응하여 분산을 줄이고 더 적은 샘플로 정확도를 향상시키는 방법을 제공하기 위해.

제안 방법

• 알고리즘은 목표 상태 $t$에서 역방향 국소 거듭제곱 반복(REVERSE-PUSH)을 수행하여 분산이 감소한 확장된 목표 분포를 구성한다.
• 이 확장된 분포는 원하는 전이 확률을 근사하지만 분산이 낮아져 효율적인 몬테카를로 샘플링이 가능하다.
• 정방향 작업은 소스 분포 $\mathbf{\sigma}$에서 $\ell$-스텝 랜덤 워크를 샘플링하고, 역방향으로 구성된 분포를 사용해 가중치를 부여하고 확률을 추정한다.
• 지역 거듭제곱 반복과 몬테카를로 샘플링을 조합하며, 잔여항이 작고 정확도가 높아지도록 역방향 반복 수를 동적으로 조정한다.
• 알고리즘은 알고리즘 2에 공식화되어 있으며, 높은 확률로 비편향 추정을 생성하고 상대 오차 한계를 충족함을 증명한다.
• 동일한 역방향-정방향 프레임워크를 활용함으로써, 페이지랭크 및 열핵과 같은 다단계 확률의 함수에 대한 일반화도 자연스럽게 가능하다.

실험 결과

연구 질문

• RQ1 일반적인 이산 상태 마르코프 체인에서 기존 몬테카를로 또는 거듭제곱 반복 기법보다 더 효율적인 이방향 알고리즘을 설계할 수 있는가?
• RQ2 제안된 방법이 희박한 마르코프 체인에서 특히 임계값 $\delta$보다 큰 확률을 탐지하는 데 $O(1/\sqrt{\delta})$의 실행 시간을 달성하는가?
• RQ3 실제 네트워크에서 몬테카를로 및 정방향 푸시와 같은 최첨단 알고리즘과 비교해 이방향 추정기의 성능은 어떠한가?
• RQ4 평균 차수 및 목표 분포와 같은 조건에서 알고리즘이 주기적으로 빠른 성능 향상을 제공하는가?
• RQ5 열핵 추정 및 대규모 그래프에서의 개인화 검색과 같은 실용적 문제에 이 방법을 효과적으로 적용할 수 있는가?

주요 결과

• 이방향-MSTP 추정기는 다단계 전이 확률에 대해 높은 확률로 비편향 추정을 제공하며, $|\widehat{\mathbf{p}}_{\mathbf{\sigma}}^{\ell}[t] - \mathbf{p}_{\mathbf{\sigma}}^{\ell}[t]| < \max\{\epsilon\mathbf{p}_{\mathbf{\sigma}}^{\ell}[t], \delta\}$를 충족한다.
• 희박한 마르코프 체인에서 균일하게 랜덤한 목표 상태에 대해 알고리즘은 $\widetilde{O}(\ell^{3/2}\sqrt{\overline{d}/\delta})$ 시간에 실행되며, 여기서 $\overline{d}$는 평균 차수이다.
• 임계값 $\delta$보다 큰 확률을 탐지하는 데 $O(1/\sqrt{\delta})$의 실행 시간을 달성하여, 표준 몬테카를로 및 거듭제곱 반복 기법의 $\Omega(1/\delta)$ 시간보다 주기적으로 더 빠르다.
• 실제 그래프인 트위터(15억 개 간선)에서 이 알고리즘은 열핵 추정에 대해 최첨단 기법보다 100배 빠르며, 쌍당 평균 0.1초 내에 10% 평균 상대 오차를 기록하는 데 성공했고, 경쟁 기법은 4분 이상 소요되었다.
• 평균 차수가 낮은 파워-법칙 네트워크에서 특히 효과적이며, 일부 노드의 차수가 높더라도 평균 차수에 의존하는 실행 시간 상한 덕분에 성능이 뛰어나다.
• 소수의 목표 노드에 대해 열핵 및 기타 그래프 확산 함수를 효율적으로 계산할 수 있어, 개인화 검색 및 커뮤니티 탐지 작업에 이상적이다.