[논문 리뷰] Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification

James Ridgway|arXiv (Cornell University)|2017. 07. 19.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 모형이 잘못 지정된 상황에서 Approximate Bayesian Computation (ABC)에 대한 비점근적 오ракル 부등식을 수립하며, 진정한 데이터 생성 모형이 통계 모형 가족에 포함되지 않더라도 ABC가 여전히 강건함을 보여준다. 매개변수 차원과 요약 통계량 크기의 명시적 의존성을 포함하여, ABC 사후분포와 진짜 사후분포 사이의 거리에 대한 유한표본 경계를 도출하고, ABC 의사사후분포에서 샘플링하기 위한 향상된 순차적 몬테카를로(SMC) 알고리즘을 제안한다.

ABSTRACT

Approximate Bayesian computation (ABC) is a widely used inference method in Bayesian statistics to bypass the point-wise computation of the likelihood. In this paper we develop theoretical bounds for the distance between the statistics used in ABC. We show that some versions of ABC are inherently robust to misspecification. The bounds are given in the form of oracle inequalities for a finite sample size. The dependence on the dimension of the parameter space and the number of statistics is made explicit. The results are shown to be amenable to oracle inequalities in parameter space. We apply our theoretical results to given prior distributions and data generating processes, including a non-parametric regression model. In a second part of the paper, we propose a sequential Monte Carlo (SMC) to sample from the pseudo-posterior, improving upon the state of the art samplers.

연구 동기 및 목표

• 모형이 잘못 지정된 경우 ABC에 대한 유한표본, 비점근적 수렴 보장을 수립하기 위해.
• 명시적 농도 경계를 통해 ABC의 모형 오류에 대한 강건성을 정량화하기 위해.
• 요약 통계량 공간과 매개변수 공간에서의 ABC에 대한 오라클 부등식을 유도하기 위해.
• ABC 의사사후분포에서 효율적으로 샘플링하기 위한 새로운 순차적 몬테카를로(SMC) 알고리즘을 제안하기 위해.
• 이론적 경계를 통한 창문 크기와 요약 통계량 선택에 대한 실용적 지침을 제공하기 위해.

제안 방법

• 지수 농도 불등식을 사용하여 ABC와 진짜 사후분포 간의 기대 거리에 대한 비점근적 오라클 부등식을 유도한다.
• ABC에서 지수 핵함수를 사용하여 변분 최적화를 가능하게 하고 이론적 취급 용이성을 향상시킨다.
• 요약 통계량 간의 거리에 대한 농도 경계를 적용하여 오류 지정 상황에서의 편향을 통제한다.
• 순차적 역온도 적응과 개선된 MCMC 커널 선택을 포함한 적응형 SMC-ABC 알고리즘을 제안한다.
• 데이터 기반 校정을 통한 ABC 창문 크기의 경험적 및 적응적 경계를 도입한다.
• 특히 $λ < 1$인 경우에 대해 ABC 수렴과 일반화된 사후이론 간의 연결 고리를 설정한다.

실험 결과

연구 질문

• RQ1 진짜 모형이 통계 모형 가족에 포함되지 않을 경우, ABC의 사후 농도 성능은 어떻게 되는가?
• RQ2 모형 오류 지정 상황에서 ABC에 대한 비점근적, 유한표본 경계를 도출할 수 있는가?
• RQ3 오류 지정 설정에서 ABC의 최적 창문 크기 $h$는 무엇이며, 표본 크기와 차원에 따라 어떻게 척도화되는가?
• RQ4 어떻게 순차적 몬테카를로 방법을 개선하여 ABC 의사사후분포에서 효율적으로 샘플링할 수 있는가?
• RQ5 요약 통계량 공간에서의 오라클 부등식으로부터 매개변수 공간에서의 오라클 부등식을 도출할 수 있는가?

주요 결과

• 논문은 모형 오류 지정 상황에서 ABC에 대한 비점근적 오라클 부등식을 수립하며, ABC와 진짜 사후분포 간의 기대 거리가 모형 복잡도와 표본 크기에 따라 영향을 받는 항으로 경계됨을 보여준다.
• 경계는 매개변수 공간의 차원과 요약 통계량의 수에 명시적으로 의존하며, 오라클에 대한 거리의 수렴 속도는 $O\left(\left(\frac{\log^2 n}{n}\right)^{\frac{\beta}{2\beta+1}}\right)$ 순서이다.
• ABC는 모형 오류 지정에 대해 본질적으로 강건함이 입증되었으며, 계산적으로 가능하더라도 창문 매개변수 $h$가 느리게 감소시켜야 한다.
• 제안된 SMC-ABC 알고리즘은 적응형 역온도 스케줄링과 더 나은 MCMC 커널 선택을 통해 기존 샘플러보다 향상되었으며, 혼합과 수렴을 개선한다.
• 경험적 및 적응적 창문 크기 경계가 도출되었으며, 점근적 힌트에 의존하지 않고 데이터 기반으로 $h$를 선택할 수 있게 해준다.
• 비모수 회귀 및 기타 모형에서 수치적으로 이론적 결과가 검증되었으며, 오류 지정 조건 하에서도 일관된 성능을 보였다.