[논문 리뷰] Automating Involutive MCMC using Probabilistic and Differentiable Programming

Marco Cusumano-Towner, Alexander K. Lew외 1명|arXiv (Cornell University)|2020. 07. 20.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 5

한 줄 요약

이 논문은 확률적 및 미분 가능 프로그래밍을 사용하여 자동으로 포함성 MCMC 커널을 구현하는 방법을 제시한다. 이는 복잡한 상태 공간에서 정확하고 효율적인 샘플링을 가능하게 한다. 타겟 분포와 보조 분포를 확률적 프로그램으로, 변환을 미분 가능 프로그램으로 지정함으로써, 프레임워크는 수용 확률을 자동으로 계산하고 오류를 탐지하며, 희소성의 활용으로 성능 향상을 이룬다.

ABSTRACT

Involutive MCMC is a unifying mathematical construction for MCMC kernels that generalizes many classic and state-of-the-art MCMC algorithms, from reversible jump MCMC to kernels based on deep neural networks. But as with MCMC samplers more generally, implementing involutive MCMC kernels is often tedious and error-prone, especially when sampling on complex state spaces. This paper describes a technique for automating the implementation of involutive MCMC kernels given (i) a pair of probabilistic programs defining the target distribution and an auxiliary distribution respectively and (ii) a differentiable program that transforms the execution traces of these probabilistic programs. The technique, which is implemented as part of the Gen probabilistic programming system, also automatically detects user errors in the specification of involutive MCMC kernels and exploits sparsity in the kernels for improved efficiency. The paper shows example Gen code for a split-merge reversible jump move in an infinite Gaussian mixture model and a state-dependent mixture of proposals on a combinatorial space of covariance functions for a Gaussian process.

연구 동기 및 목표

• 수학적으로 강력하지만 수동으로 구현하기가 번거롭고 실수를 범하기 쉬운 포함성 MCMC 커널의 구현을 단순화하기 위해.
• 확률적 프로그램 트레이스에 대한 자동 미분을 사용하여 MCMC에서 수용 확률을 자동으로 계산하기 위해.
• 포함성 MCMC 사양에서 수학적 일관성 오류를 탐지하여 신뢰성을 향상시키기 위해.
• 포함성 변환의 희소성 활용을 통해 성능을 최적화하기 위해.
• 베이지안 추론에서 흔히 볼 수 있는 복잡하고 구조화된 상태 공간(예: 조합 모델 공간)으로의 일반화를 위해.

제안 방법

• 타겟 및 보조 분포를 추적 기반 상태 공간에서 실행되는 확률적 프로그램으로 정의하며, 실행 추적을 키-값 저장소로 형식화한다.
• 포함성은 확률적 프로그램의 추적을 변환하는 미분 가능 프로그램으로 표현되어, 이중성과 미분 가능성 보장한다.
• 메트로폴리스-해스팅스 수용 비율에 필요한 자코비안 행렬식을 자동 미분을 통해 계산한다.
• 포함성이 스스로의 역함수임을 확인하고, 변환이 측도 이론적 일관성을 유지하는지 검증함으로써 사양 오류를 탐지한다.
• 추적 요소 중 어떤 것이 수정되었는지 분석함으로써 포함성의 희소성을 활용하여, 유리한 경우 시간 복잡도를 O(N³)에서 O(1)로 감소시킨다.
• 이 접근은 Gen 확률적 프로그래밍 시스템에 구현되었으며, 무한한 가우시안 혼합 모델과 가우시안 프로세스 공분산 구조에서 성능을 입증했다.

실험 결과

연구 질문

• RQ1 타겟 및 보조 분포의 선언적 사양과 미분 가능 변환으로부터 포함성 MCMC 커널을 자동으로 구현할 수 있는가?
• RQ2 어떻게 자동 미분을 사용하여 복잡하고 구조화된 상태 공간에서 MCMC의 수용 확률을 정확히 계산할 수 있는가?
• RQ3 포함성 MCMC 커널 사양에서 잘못된 포함성 또는 불일치하는 밀도와 같은 수학적 오류를 탐지할 수 있는 메커니즘은 무엇인가?
• RQ4 포함성 변환의 희소성은 어떤 경우에 MCMC 샘플링의 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 이 프레임워크는 상태 의존성 혼합 및 신경망 제안 네트워크와 같은 고급 MCMC 기법으로 일반화될 수 있는가?

주요 결과

• 프레임워크는 추적 변환의 미분을 통해 포함성 MCMC에 대한 정확한 수용 확률을 자동으로 계산하여 수동 자코비안 유도를 제거한다.
• 변환이 포함성임과 동시에 추적 간에 밀도가 일관성을 유지하는지 검증함으로써, 포함성 MCMC 커널의 사양 오류를 탐지한다.
• 포함성의 희소성을 활용함으로써, 커널 적용의 계산 비용을 일부 경우에서 O(N³)에서 O(1)로 감소시켜 효율성 향상을 크게 이룬다.
• 무한한 가우시안 혼합 모델에서 분할-병합 역전이 가능한 MCMC와 같은 복잡한 이동을 자동으로 정확한 수용 확률을 갖도록 성공적으로 구현했다.
• 조합 공간(예: 가우시안 프로세스의 공분산 함수의 파싱 트리)에서 상태 의존성 제안 혼합을 효율적으로 구현하였으며, 자동 확률 비율 계산을 가능하게 하였다.
• Gen에 구현된 이 방법은 이미 생물정보학 및 인공지능 분야의 실질적 응용에서 사용되었으며, 실용성과 확장성을 입증했다.