[논문 리뷰] A Pseudo-Marginal Perspective on the ABC Algorithm

Luke Bornn, Natesh S. Pillai외 2명|arXiv (Cornell University)|2014. 04. 25.

Markov Chains and Monte Carlo Methods참고 문헌 16인용 수 5

한 줄 요약

이 논문은 가능도가 계산 가능한 경우 MCMC 기반 ABC 알고리즘의 효율성이 표준 MCMC와 동일하므로, 이러한 경우 likelihood-free MCMC는 불필요하다고 보여준다. 또한 일부 ABC 변형은 가짜 마진형 MCMC 방법으로 해석될 수 있으며, 이는 near-likelihood 기반 효율성을 달성할 수 있게 한다. 그러나 다수의 가짜 샘플을 사용한다고 해서 항상 성능 향상이 이루어지는 것은 아니며, 단일 높은 분산 샘플이 더 나은 성능을 낼 수 있다.

ABSTRACT

In this paper, we make two observations about approximate Bayesian computation (ABC). First, we show that the MCMC version of an ABC algorithm is no more efficient than the corresponding MCMC algorithm. Thus likelihood-free MCMC methods should not be used if the corresponding MCMC algorithm is feasible to implement. Second, we observe that some variations of ABC algorithms can be viewed as pseudo-marginal MCMC algorithms, and hence may be made arbitrarily close to their respective likelihood-based MCMC methods. We subse-quently analyze the efficiency of the resulting algorithm, and present a surprising example which shows that multiple pseudo-samples do not necessarily improve the efficiency of the algorithm as compared to employing a high-variance estimate computed using a single pseudo-sample. 1

연구 동기 및 목표

• 가능도가 계산 가능한 경우 MCMC 기반 ABC 알고리즘의 효율성을 표준 MCMC와 비교 평가하는 것.
• 일부 ABC 알고리즘이 특정 조건 하에서 가짜 마진형 MCMC 방법으로 해석될 수 있는지 조사하는 것.
• ABC 환경에서 다수의 가짜 샘플 사용이 알고리즘 효율성에 미치는 영향을 분석하는 것.
• 가짜 샘플 수를 늘일수록 ABC 알고리즘 성능이 항상 향상되는지 여부를 규명하는 것.

제안 방법

• 논문은 ABC 알고리즘과 가짜 마진형 MCMC 간의 이론적 연결을 설정하기 위해, ABC에서의 가능도 근사치를 소음 있는 추정치로 간주한다.
• 특정 조건 하에서 독립적인 가짜 샘플을 사용하는 ABC 알고리즘은 가짜 마진형 MCMC 방법으로 간주될 수 있음을 규명한다.
• ABC 알고리즘이 가능도 기반 대안과 유사한 渐近적 효율성을 달성할 수 있는 조건을 유도한다.
• ABC에서 가능도 추정치의 분산을 분석하고, 단일 샘플의 높은 분산 추정치가 다수 샘플의 저분산 추정치보다 더 나은 성능을 낼 수 있음을 보여준다.
• 이론적 분석은 다수의 가짜 샘플이 항상 효율성을 향상시키지 않는다는 반례를 통해 뒷받질린다.

실험 결과

연구 질문

• RQ1 가능도가 존재할 경우 ABC의 MCMC 버전이 표준 MCMC보다 더 효율적인가?
• RQ2 일부 조건 하에서 ABC 알고리즘이 가짜 마진형 MCMC 방법으로 해석될 수 있는가?
• RQ3 ABC에서 가짜 샘플 수를 늘일수록 알고리즘 효율성이 항상 향상되는가?
• RQ4 어떤 조건에서 ABC는 가능도 기반 MCMC의 효율성에 가까운 효율성을 달성할 수 있는가?
• RQ5 왜 ABC에서 단일 높은 분산 가짜 샘플이 다수의 저분산 샘플보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 가능도가 계산 가능한 경우 ABC의 MCMC 버전은 표준 MCMC와 동일한 효율성을 가지므로, likelihood-free MCMC는 이러한 경우에 최적화되지 않는다.
• 일부 ABC 알고리즘은 가짜 마진형 MCMC 방법으로 해석될 수 있으며, 이는 near-likelihood 기반 효율성을 달성할 수 있게 한다.
• 다수의 가짜 샘플을 사용한다고 해서 단일 높은 분산 추정치보다 효율성이 반드시 향상되지 않는다.
• 놀라운 반례를 통해 다수의 저분산 가짜 샘플이 단일 높은 분산 샘플보다 효율성이 떨어질 수 있음을 보여준다.
• ABC 알고리즘의 효율성은 사용된 샘플 수가 아니라 가능도 추정치의 분산에 의해 결정되며, 이는 핵심적이다.