[논문 리뷰] Inference for Trans-dimensional Bayesian Models with Diffusive Nested Sampling

Brendon J. Brewer|arXiv (Cornell University)|2014. 11. 14.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 8

한 줄 요약

이 논문은 복잡한 사후 분포에서 다중모드성, 계단전이, 알려지지 않은 모델 차원을 효과적으로 탐색할 수 있도록 전이차원 MCMC와 네스티드 샘플링을 조합한 전이차원 베이지안 추론 방법인 Diffusive Nested Sampling (DNS)을 소개한다. 이 방법은 다양한 성분 수에서 강력한 우도 추정과 사후 추론을 가능하게 하며, 노이즈가 있는 천문학적 이미지에서 정현파 신호 탐지 및 은하 성분 추출 문제에 성공적으로 적용되었다.

ABSTRACT

Many inference problems involve inferring the number $N$ of components in some region, along with their properties $\{\mathbf{x}_i\}_{i=1}^N$, from a dataset $\mathcal{D}$. A common statistical example is finite mixture modelling. In the Bayesian framework, these problems are typically solved using one of the following two methods: i) by executing a Monte Carlo algorithm (such as Nested Sampling) once for each possible value of $N$, and calculating the marginal likelihood or evidence as a function of $N$; or ii) by doing a single run that allows the model dimension $N$ to change (such as Markov Chain Monte Carlo with birth/death moves), and obtaining the posterior for $N$ directly. In this paper we present a general approach to this problem that uses trans-dimensional MCMC embedded within a Nested Sampling algorithm, allowing us to explore the posterior distribution and calculate the marginal likelihood (summed over $N$) even if the problem contains a phase transition or other difficult features such as multimodality. We present two example problems, finding sinusoidal signals in noisy data, and finding and measuring galaxies in a noisy astronomical image. Both of the examples demonstrate phase transitions in the relationship between the likelihood and the cumulative prior mass, highlighting the need for Nested Sampling.

연구 동기 및 목표

• 모델의 성분 수가 알려지지 않은 경우, 예를 들어 유한 혼합 모델이나 노이즈가 있는 데이터에서의 성분 탐지 문제와 같은 전이차원 성분 수를 가진 모델에서의 베이지안 추론 문제를 해결하기 위해.
• 사후 분포에서 다중모드성, 강한 매개변수 상관관계, 계단전이로 인한 MCMC의 혼합 문제를 해결하기 위해.
• 모델 차원 $N$과 성분 매개변수에 대한 우도(증거)와 사후 분포를 동시에 계산할 수 있는 통합 프레임워크를 제공하기 위해.
• 전이차원 MCMC를 네스티드 샘플링 프레임워크 내에 통합하여 고차원이고 모델 차원이 알려지지 않은 문제에서 효율적인 계산을 가능하게 하기 위해.

제안 방법

• 이 방법은 성분 수 $N$이 변하는 모델을 탐색하기 위해 전이차원 MCMC 이동(생성/소멸)을 사용하며, 이를 네스티드 샘플링 알고리즘 내에 통합한다.
• 네스티드 샘플링은 차례로 제약 조건이 붙은 사전 분포에서 샘플링하기 위해 사용되며, 가능도를 $L \geq L_i$로 점진적으로 제한함으로써 모드와 단계 간의 혼합을 향상시킨다.
• 알고리즘은 매 반복마다 매개변수 공간을 통해 진화하는 라이브 포인트의 집합을 유지하며, 각 반복에서 성분 추가 또는 제거를 제안하여 모델을 업데이트한다.
• 핵심 최적화 기법은 기존 모델과 새로운 모델 간의 차이를 캐시하여, 전체에서 다시 계산하는 대신 모의 신호를 수정하는 방식으로 효율적인 가능도 업데이트를 가능하게 한다.
• 우도 추정치 $\mathcal{Z}$는 각 반복에서 가능도와 사전 체적의 곱의 합으로 추정되며, 이는 강력한 증거 추정치를 제공한다.
• 사후 분포 $N$과 성분 매개변수 $\mathbf{x}_i$는 네스티드 샘플링 과정에서 생성된 가중치가 부여된 샘플들로부터 유도된다.

실험 결과

연구 질문

• RQ1 사후 분포에 계단전이, 다중모드성, 강한 매개변수 상관관계가 존재할 경우, 전이차원 베이지안 추론을 어떻게 효율적으로 수행할 수 있는가?
• RQ2 전이차원 MCMC가 네스티드 샘플링 내에 효과적으로 통합되어 고차원이고 모델 차원이 알려지지 않은 문제에서 혼합과 수렴을 향상시킬 수 있는가?
• RQ3 제안된 방법이 성분 수가 알려지지 않은 문제에서 우도 추정치 $\mathcal{Z}$와 $N$에 대한 사후 분포 추정 성능은 어떠한가?
• RQ4 노이즈가 있는 데이터와 희미한 성분을 포함한 실제 천문학적 추론 문제에 적용했을 때, 이 방법의 계산 비용은 어떻게 스케일링되는가?

주요 결과

• 신호 문제와 은하 이미지 문제에서 모두 계단전이를 성공적으로 처리하였으며, 사후 분포가 뚜렷한 성분만 피팅하는 경우와 희미한 성분까지 포함하는 경우로 전이되는 것을 관찰하였다.
• 은하 이미지 문제에서 DNS는 우도 추정치를 $\log(\mathcal{Z}) = -319707.6$ nats로 추정하였고, 사전에서 사후로의 쿨백-라이블러 발산은 550.2 nats였다.
• 실제 은하 수는 $N = 47$였으며, 노이즈와 잡음 수준 근처의 희미한 성분이 존재하더라도 DNS는 높은 사후 신뢰도로 이 값을 정확히 추정하였다.
• 기존의 전체 재계산을 피하고 모의 신호를 재사용 및 업데이트하는 계산 최적화 기법 덕분에 두 문제 모두에서 약 2배의 속도 향상이 이루어졌다.
• 표준 전이차원 MCMC보다 혼합과 수렴 성능이 뛰어나, 특히 계단전이와 같은 강한 기하학적 또는 위상적 과제가 존재하는 영역에서 뛰어난 성능을 보였다.
• 정현파 문제에서는 표준 데스크톱 컴퓨터에서 몇 분 내에 수렴과 정확한 추론을 달성하였고, 더 복잡한 은하 이미지 문제에서는 약 1일이 소요되었다.