[논문 리뷰] Minibatch Gibbs Sampling on Large Graphical Models

Christopher De, Vincent Chen외 1명|arXiv (Cornell University)|2018. 06. 15.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 대규모 그래픽 모델을 위한 미니배치 게이브스 샘플링을 제안하여 조건부 업데이트 중에 요소를 부분 샘플링함으로써 계산 비용을 감소시키면서도 정확한 정상성(_stationarity_)을 유지한다. 비편향 버전을 도입하고 수학적 수렴 보장을 제공하며, 에너지 함수가 유계 조건을 만족할 경우 O(DΔ)에서 O(D + Δ)로의 渐近적(점점 가까워지는) 속도 향상을 달성한다.

ABSTRACT

Gibbs sampling is the de facto Markov chain Monte Carlo method used for inference and learning on large scale graphical models. For complicated factor graphs with lots of factors, the performance of Gibbs sampling can be limited by the computational cost of executing a single update step of the Markov chain. This cost is proportional to the degree of the graph, the number of factors adjacent to each variable. In this paper, we show how this cost can be reduced by using minibatching: subsampling the factors to form an estimate of their sum. We introduce several minibatched variants of Gibbs, show that they can be made unbiased, prove bounds on their convergence rates, and show that under some conditions they can result in asymptotic single-update-run-time speedups over plain Gibbs sampling.

연구 동기 및 목표

• 변수의 차수 Δ가 높고 매우 연결되어 있는 대규모 그래픽 모델에서 게이브스 샘플링의 확장성 문제를 해결한다.
• 변수 도메인 크기 D와 그래프 차수 Δ에 비례하는 O(DΔ)의 게이브스 업데이트 비용을 감소시키되, 편향을 도입하지 않는다.
• 기존 게이브스 체인의 정확한 정상 분포를 유지하는 미니배칭 기법을 개발한다.
• 미니배칭 변형이 전체 게이브스 샘플링과 거의 같은 속도로 수렴할 수 있도록 보장하는 이론적 수렴 한계와 파라미터 설정을 제공한다.
• 에너지 함수가 유계 조건을 만족하는 조밀한 그래픽 모델에서 계산 시간의 점점 가까워지는 속도 향상을 달성한다.

제안 방법

• 변수의 국소적 이웃에 있는 요소를 부분 샘플링하여 조건부 분포를 추정하는 MIN-Gibbs를 도입한다.
• 중요도 샘플링과 기각 샘플링을 사용하여, 미니배치 업데이트가 진정한 조건부 분포에 대해 비편향이 되도록 보장한다.
• 세부 균형을 유지하기 위해 미니배치 제안을 메트로폴리스-하스팅스 보정에 사용하는 MGPMH(Minibatch-Gibbs-Proposal Metropolis-Hastings)를 제안한다.
• 요소와 변수 도메인 값 양쪽을 부분 샘플링하는 더블미니배치 버전인 DoubleMIN-Gibbs를 설계하여 비용을 추가로 감소시킨다.
• 미니배치 크기와 샘플링 전략을 조정함으로써, 미니배치 체인의 스펙트럴 갭을 전체 게이브스 체인의 스펙트럴 갭에 임의로 가까이 유지할 수 있음을 증명한다.
• 스펙트럴 갭 분석을 통해 수렴 속도에 대한 이론적 경계를 수립하여, 요소 그래프와 에너지 함수에 대한 온건한 조건 하에서 수렴이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 편향을 도입하지 않고도 대규모 그래픽 모델에서 게이브스 샘플링을 미니배칭을 통해 가속화할 수 있는가?
• RQ2 미니배치 게이브스 샘플러가 전체 게이브스 샘플링과 유사한 속도로 수렴하기 위한 조건은 무엇인가?
• RQ3 미니배치 마코프 체인의 스펙트럴 갭은 원래 체인에 대해 어떻게 유계로 설정할 수 있는가?
• RQ4 에너지 함수가 유계 조건을 만족할 경우, 미니배치 게이브스 샘플링의 점점 가까워지는 계산 복잡도는 얼마인가?
• RQ5 파rameter 조정을 통해 미니배치 게이브스의 수렴이 전체 게이브스 체인에 대해 임의로 가까워질 수 있는가?

주요 결과

• MIN-Gibbs와 DoubleMIN-Gibbs는 각각 O(DΨ²)와 O(DL² + Ψ²)의 점점 가까워지는 계산 비용을 확률적으로 달성하며, 기존 게이브스 샘플링의 O(DΔ) 비용에 비해 크게 감소시킨다.
• MGPMH 변형은 O(DL² + Δ)의 비용을 제공하여 편향 제어와 계산 효율성 사이의 균형을 이룬다.
• 에너지 함수가 유계 조건을 만족할 경우, 미니배치 게이브스 샘플러는 O(D + Δ)의 점점 가까워지는 업데이트 비용을 달성하여 O(DΔ)에 비해 상당한 향상을 이룬다.
• 미니배치 체인의 스펙트럴 갭은 미니배치 크기와 샘플링 전략을 조정함으로써 원래 게이브스 체인의 스펙트럴 갭에 임의로 가까이 유지할 수 있다.
• 이론적 분석을 통해 미니배치 방법이 비편향이며, 수학적 수렴 속도 보장이 있는 정확한 정상 분포로 수렴함을 확인한다.
• 400개의 변수를 가진 합성 이징 및 푸츠 모델과 가우시안 RBF 상호작용 커널을 사용한 실험을 통해 이론적 속도 향상과 수렴 행동이 검증되었다.