[논문 리뷰] Accelerating ABC methods using Gaussian processes

R. Wilkinson|arXiv (Cornell University)|2014. 01. 07.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 66

한 줄 요약

이 논문은 가우시안 프로세스(GP)를 활용한 근사 베이지안 계산(ABC)을 제안하여, 로그우도 함수를 GP로 모델링하고 부드러움과 연속성을 활용함으로써 시뮬레이터 평가 횟수를 줄인다. 표준 ABC보다 최대 100배 적은 시뮬레이션을 달성하며, 인구 유전학 모델에서 정확한 사후분포의 첫 번째 근사화를 가능하게 한다.

ABSTRACT

Approximate Bayesian computation (ABC) methods are used to approximate posterior distributions using simulation rather than likelihood calculations. We introduce Gaussian process (GP) accelerated ABC, which we show can significantly reduce the number of simulations required. As computational resource is usually the main determinant of accuracy in ABC, GP-accelerated methods can thus enable more accurate inference in some models. GP models of the unknown log-likelihood function are used to exploit continuity and smoothness, reducing the required computation. We use a sequence of models that increase in accuracy, using intermediate models to rule out regions of the parameter space as implausible. The methods will not be suitable for all problems, but when they can be used, can result in significant computational savings. For the Ricker model, we are able to achieve accurate approximations to the posterior distribution using a factor of 100 fewer simulator evaluations than comparable Monte Carlo approaches, and for a population genetics model we are able to approximate the exact posterior for the first time.

연구 동기 및 목표

• 시뮬레이터가 비용이 많이 들고 정확도(낮은 허용오차)가 요구되는 경우 ABC 방법의 높은 계산 비용을 해결하기 위해.
• 무작위 샘플링에 의존하고 우도 함수의 알려진 부드러움을 忽시하는 표준 ABC 알고리즘의 비효율성을 해결하기 위해.
• 순차적이고 적응적인 설계와 GP 모델을 활용해 효율적으로 매개변수 공간을 탐색하고 시뮬레이터 실행 횟수를 줄이는 방법을 개발하기 위해.
• 기존 ABC가 계산적으로 불가능한 복잡한 시뮬레이터(고차원 출력을 가진) 모델에서도 정확한 사후분포 근사화를 가능하게 하기 위해.

제안 방법

• 미지의 로그우도 함수를 GP로 모델링하여, 시뮬레이터 출력을 진짜 우도의 노이즈 있는 관측치로 간주한다.
• 여러 웨이브에 걸쳐 점차 정밀도가 향상되는 GP 모델의 시퀀스를 적용하고, 새로운 평가 지점을 선택하기 위해 공간을 균일하게 채우는 설계를 사용한다.
• 로그우도의 연속성과 부드러움을 활용해 유의미한 영역을 예측하고 초기에 비현실적인 매개변수 공간 영역을 제거한다.
• 우도 추정의 분산을 줄이고 GP 모델링을 향상시키기 위해 부드러운 수용 커널을 사용하는 일반화된 ABC(GABC) 프레임워크를 적용한다.
• 훈련 비용을 O(N³)에서 O(M²N)으로 줄이기 위해 희소 GP 근사 모델을 사용하며, 여기서 M ≪ N 이다. 이는 더 큰 데이터셋에 대한 확장성을 가능하게 한다.
• 각 웨이브에서 진단 검사와 사용자 감시를 통해 모델 신뢰성 확보 및 열악한 GP 피팅 또는 설계 선택으로 인한 오류 방지를 위해 사용한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 사용해 ABC에서 로그우도 함수를 모델링하여 시뮬레이터 평가 횟수를 줄일 수 있는가?
• RQ2 순차적이고 적응적인 GP 모델 설계는 무작위 샘플링 대비 ABC에서 계산 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 표준 ABC가 계산 비용으로 인해 실패하는 모델에서 GP-가속화된 ABC는 정확한 사후분포를 근사할 수 있는가?
• RQ4 우도 함수의 부드러움이 GP-가속화된 ABC의 성능에 어떤 영향을 미치는가?
• RQ5 ABC 추론의 정확도를 훼손하지 않고 GP 훈련의 계산 비용을 어떻게 줄일 수 있는가?

주요 결과

• Ricker 모델에서 GP-가속화된 ABC는 표준 몬테카를로 ABC보다 100배 적은 시뮬레이터 평가로 정확한 사후분포 근사화를 달성했다.
• 인구 유전학 모델에서 이는 이전에 계산 한계로 인해 표준 ABC로는 불가능했던 정확한 사후분포의 첫 번째 근사화를 가능하게 했다.
• GP-ABC 사후분포는 국소 선형 조정을 적용한 거절 ABC보다 더 정확했으며, 허용오차 ε가 감소할수록 정확한 사후분포로의 추세를 더 잘 반영했다.
• 이 방법은 로그우도의 부드러움에 의존하므로 보편적으로 적용 가능한 것은 아니지만, 우도 표면이 충분히 부드럽다면 상당한 절감 효과를 제공한다.
• 희소 GP 근사 모델은 훈련 비용을 O(N³)에서 O(M²N)으로 줄여, 더 큰 문제에 대해서도 정확도를 유지하면서 확장 가능하게 했다.
• 추가적인 근사층을 도입했음에도 불구하고, 이 방법은 표준 접근 방식으로는 실현 가능하지 않은 더 작은 허용오차 값을 허용함으로써 ABC 추론의 정확도를 높일 수 있다.