[논문 리뷰] Partition Functions from Rao-Blackwellized Tempered Sampling

David Carlson, Patrick Stinson외 2명|arXiv (Cornell University)|2016. 03. 07.

Bayesian Methods and Mixture Models참고 문헌 44인용 수 8

한 줄 요약

이 논문은 복잡하고 多모형 분포에서 분할 함수를 추정하기 위한 새로운 방법인 레오-블랙웰라이즈드 온도 조정 샘플링(RTS)을 소개한다. MCMC 샘플링 중에 역온도의 다항분포를 활용하여, 레오-블랙웰라이즈드 주변 확률 추정치를 통해 분할 함수 추정치를 계산함으로써, 특히 제한된 병렬 체인 수와 낮은 계산 비용으로도 A.I.S.보다 더 높은 정확도를 달성한다. 이는 제한된 볼츠만 기계(RBM) 학습에 특히 효과적이다.

ABSTRACT

Partition functions of probability distributions are important quantities for model evaluation and comparisons. We present a new method to compute partition functions of complex and multimodal distributions. Such distributions are often sampled using simulated tempering, which augments the target space with an auxiliary inverse temperature variable. Our method exploits the multinomial probability law of the inverse temperatures, and provides estimates of the partition function in terms of a simple quotient of Rao-Blackwellized marginal inverse temperature probability estimates, which are updated while sampling. We show that the method has interesting connections with several alternative popular methods, and offers some significant advantages. In particular, we empirically find that the new method provides more accurate estimates than Annealed Importance Sampling when calculating partition functions of large Restricted Boltzmann Machines (RBM); moreover, the method is sufficiently accurate to track training and validation log-likelihoods during learning of RBMs, at minimal computational cost.

연구 동기 및 목표

• 기계 학습에서 흔한 고도로 다중모형 분포에서 분할 함수를 효율적이고 정확하게 추정하는 방법을 개발하는 것.
• 특히 역온도의 다항분포를 활용한 시뮬레이티드 템퍼링의 구조를 이용하여 저비용의 분할 함수 추정기법을 도출하는 것.
• RBM 학습 중에 실시간으로 학습 및 검증 로그우도를 추적할 수 있도록 최소한의 계산 오버헤드로 가능하게 하는 것.
• 이론적으로 탄탄하고 기존 방법들인 A.I.S. 및 RAISE보다도 우수한 성능을 보이는 방법을 제공하는 것.

제안 방법

• 목표 분포에 이산적 역온도 변수 βk ∈ {β1, ..., βK}를 추가하여 x와 β에 대한 온도 조정된 결합분포를 구성한다.
• 시뮬레이티드 템퍼링을 사용하여 결합분포에서 샘플링함으로써, 다중모형 사후분포에서 여러 모드를 효율적으로 탐색할 수 있도록 한다.
• MCMC 체인 동안 레오-블랙웰라이제이션을 통해 βk의 주변확률 p(βk)를 추정하며, 이는 x가 주어졌을 때 βk의 조건부 확률의 평균을 취하는 방식이다.
• 레오-블랙웰라이즈드 추정치의 몫으로 분할 함수 비율을 계산한다: ZK / Z1 ≈ (cK / c1) × (r1 / rK), 여기서 ck는 경험적 카운트이고 rk는 사전 가중치이다.
• 학습 중 추정치의 안정성을 확보하기 위해 스무딩 업데이트 규칙을 적용한다: ZK^(t+1) = ZK^(t) × (r1/rK × cK^(t)/c1^(t))^α, 여기서 α ∈ (0.05, 0.5)이다.
• 기울기 분산을 줄이기 위해 비균일한 사전 r_k ∝ exp(2βk)를 사용함으로써, 정확한 로그-분할 함수 추정치를 유지하면서도 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 시뮬레이티드 템퍼링에서의 역온도 다항분포를 활용하여 추가 비용을 최소화하면서 분할 함수를 추정할 수 있는가?
• RQ2 RBM의 분할 함수 추정에 있어서 제안된 RTS 추정기의 정확도는 A.I.S. 및 RAISE와 같은 기존 방법들과 비교해 어떻게 되는가?
• RQ3 RTS는 RBM 학습 중에 실시간으로 학습 및 검증 로그우도를 충분히 정확하고 안정적으로 추정할 수 있는가?
• RQ4 역온도에 대한 다양한 사전 분포가 분할 함수 추정치의 분산과 편향에 어떤 영향을 미치는가?
• RQ5 제어 변수나 일반화된 엔세임블과의 조합 또는 확장으로 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 대규모 제한된 볼츠만 기계에서 로그-분할 함수를 계산할 때, RTS는 A.I.S.보다 더 높은 정확도로 분할 함수 추정치를 제공한다.
• 이 방법은 단지 2000개의 병렬 체인과 25회의 겹침-스위프(Gibbs 스위프)로도 학습 및 검증 로그우도를 매우 낮은 계산 비용으로 정확하게 추적할 수 있다.
• MNIST 데이터셋에 784-10 RBM을 적용한 실험에서, RTS는 로그 Zk에 대해 안정적이고 정확한 추정치를 제공하였으며, 최종 반복에서 cK 추정치가 진짜 rK 값과 매우 유사하게 일치하였다.
• 비균일한 사전 r_k ∝ exp(2βk)를 사용함으로써 기울기 추정치의 분산은 감소시켰지만, 로그 Z 정확도는 유의미하게 떨어지지 않았다.
• 합성곱 조합(α = 0.2)을 통한 분할 함수 추정치 스무딩은 작은 표본 크기에서 유발되는 노이즈를 크게 감소시켜 학습 중 안정성을 크게 향상시켰다.
• 광범위한 탐색에도 불구하고, RMSE 기준으로 분할 함수 추정기 성능에서 비균일한 사전이나 편향 보정 방법이 균일한 사전을 항상 능가하지는 않았다.