[논문 리뷰] Robust and Efficient Approximate Bayesian Computation: A Minimum Distance Approach

David T. Frazier|arXiv (Cornell University)|2020. 06. 25.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 8

한 줄 요약

이 논문은 요약 통계량을 사용하지 않고 경험적 확률 측도 간의 노름 기반 이질성으로 비교함으로써 우도 자유 우도 기반 베이지안 방법인 최소 거리 근사 베이지안 계산(MD-ABC)을 제안한다. 헬링거 거리 사용 시 MD-ABC는 정확한 베이지안 추론과 동일한 渐近 효율성을 달성하며 국소 모형 오측정에 대해 최적의 강건성을 보이며, 모형 편차가 있는 조건에서 정확한 베이지안 추론 및 기타 ABC 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In many instances, the application of approximate Bayesian methods is hampered by two practical features: 1) the requirement to project the data down to low-dimensional summary, including the choice of this projection, which ultimately yields inefficient inference; 2) a possible lack of robustness to deviations from the underlying model structure. Motivated by these efficiency and robustness concerns, we construct a new Bayesian method that can deliver efficient estimators when the underlying model is well-specified, and which is simultaneously robust to certain forms of model misspecification. This new approach bypasses the calculation of summaries by considering a norm between empirical and simulated probability measures. For specific choices of the norm, we demonstrate that this approach can deliver point estimators that are as efficient as those obtained using exact Bayesian inference, while also simultaneously displaying robustness to deviations from the underlying model assumptions.

연구 동기 및 목표

• 요약 통계량 선택과 모형 오측정로 인한 표준 근사 베이지안 계산(ABC) 방법의 비효율성과 강건성 부족 문제를 해결하기 위해.
• 정확한 모형 사양 조건 하에서도 높은 효율성을 유지하면서 동시에 가정된 모형에서 국소적 이탈에 대해 강건한 베이지안 추론 방법을 개발하기 위해.
• 전체 데이터를 경험적 확률 측도를 통해 사용함으로써 요약 통계량의 수동 선택이 필요 없도록 하기 위해.
• 이면 불가능한 우도를 가진 모형에서 최소 거리 추정의 강건성과 효율성 특성을 베이지안 프레임워크로 확장하기 위해.
• 모형 불확실성 하에서도 효율적이고 신뢰할 수 있는 정확한 베이지안 추론의 실용적 대안을 제공하기 위해.

제안 방법

• 관측 데이터와 시뮬레이션 데이터의 경험적 확률 측도를 비교함으로써 요약 통계량에 의존하지 않는 새로운 ABC 접근법인 MD-ABC를 제안한다.
• 경험 분포 간의 노름 기반 이질성 측도를 사용하여 ABC 수락 기준을 정의하며, 특히 헬링거 거리와 크라머-빈 마이즈(Cramér-von Mises, CvM) 거리를 중심으로 다룬다.
• MD-ABC의 사후분포를 사전분포와 이질성 측도의 커널 밀도의 곱에 비례하도록 정의함으로써, SMC 알고리즘을 통해 사후분포 시뮬레이션을 가능하게 한다.
• 정규성 조건 하에서 MD-ABC 추정량의 渐近 정규성과 渐近 효율성을 입증하며, 특히 헬링거 거리 사용 시 뚜렷한 성과를 보인다.
• 국소 모형 오측정 프레임워크를 적용하여, 특정 편차 하에서 모든 ABC 추정량 중에서 가장 작은 편향과 평균제곱오차를 달성함을 입증함으로써 MD-ABC의 최적 강건성을 입증한다.
• 후행 몬테카를로(SMC)를 사용하여 사후분포를 근사하고, 시뮬레이션 연구에서 정확한 베이지안 추론의 기준으로 NUTS를 활용한다.

실험 결과

연구 질문

• RQ1 요약 통계량을 사용하지 않고도 정확한 베이지안 추론과 동일한 渐近 효율성을 달성할 수 있는 우도 자유 베이지안 방법이 존재하는가?
• RQ2 경험 분포 간의 노름 기반 이질성 측도는 기존 ABC 방법에 비해 모형 오측정에 대해 더 강건한가?
• RQ3 국소 모형 오측정 하에서 MD-ABC는 정확한 베이지안 추론 및 워셔슈타인 ABC와 같은 다른 ABC 방법에 비해 어떻게 성능을 발휘하는가?
• RQ4 최소 거리 원리가 이면 불가능한 우도를 가진 모형에서 베이지안 추론으로까지 확장될 수 있는가?
• RQ5 헬링거 또는 CvM과 같은 다양한 노름을 사용할 경우 ABC 추론의 효율성과 강건성에 어떤 영향을 미치는가?

주요 결과

• 헬링거 거리 기반 MD-ABC는 정확한 모형 사양 조건 하에서 정확한 베이지안 추론과 동일한 성능을 보이는 점 추정량을 생성하며, 渐近 효율성을 확보한다.
• 국소 모형 오측정 하에서 MD-ABC는 모든 ABC 추정량 중에서 가장 작은 편향과 평균제곱오차를 달성하여 최적의 강건성을 입증한다.
• 5% 점프 강도를 가진 확률적 변동성 모형에서, 정확한 베이지안 추론은 심각한 편향과 안정하지 않은 사후 표준편차를 보였지만, MD-ABC는 안정적이고 정확하게 유지되었다.
• 점프 성분이 데이터에 포함되어 있음에도 불구하고, MD-ABC의 사후 평균과 표준편차는 실제 데이터 생성 과정이 가정된 모형과 다를 경우에도 거의 영향을 받지 않았다.
• CvM 기반 MD-ABC는 m = n개의 시뮬레이션 관측치만 사용한 반면, 헬링거 기반 MD-ABC는 더 높은 정확도를 확보하기 위해 m = 10n을 사용하여 시뮬레이션 예산에 따라 확장 가능한 성능을 보였다.
• 특히 SV 모형의 π 및 β 파라미터에 대해, 모형 오측정 하에서 MD-ABC는 워셔슈타인 ABC 및 정확한 베이지안 추론보다 추정량의 안정성과 정확도에서 뛰어난 성능을 보였다.