[논문 리뷰] Model Selection for Likelihood-free Bayesian Methods Based on Moment Conditions: Theory and Numerical Examples

Cheng Li, Wenxin Jiang|arXiv (Cornell University)|2014. 05. 26.

Statistical Methods and Bayesian Inference참고 문헌 80인용 수 8

한 줄 요약

이 논문은 완전한 우도가 계산이 불가능한 경우를 위한 베이지안 모델 선택 방법을 제안하며, 베이지안 일반화된 모멘트 방법(BGMM)을 사용한다. 이 방법은 준우도 확률을 활용하여 우도 추론과 MCMC 계산을 가능하게 한다. 이론적으로 일致성과 오라클 성질을 확립하여, 점점 더 큰 표본 크기에서 참 모형을 점차적으로 식별하고, 참 모형이 알려져 있는 것처럼 효율적이고 정규 분포를 따르는 우도 분포를 얻는다.

ABSTRACT

An important practice in statistics is to use robust likelihood-free methods, such as the estimating equations, which only require assumptions on the moments instead of specifying the full probabilistic model. We propose a Bayesian avored model selection approach for such likelihood-free methods, based on (quasi-)posterior probabilities from the Bayesian Generalized Method of Moments (BGMM). This novel concept allows us to incorporate two important advantages of a Bayesian approach: the expressiveness of posterior distributions and the convenient computational method of MCMC. Many different applications are possible, including modeling the correlated longitudinal data, the quantile regression, and the graphical models based on partial correlation. We demonstrate numerically how our method works in these applications. Under mild conditions, we show that theoretically the BGMM can achieve the posterior consistency for selecting the unknown true model, and that it possesses a Bayesian version of the oracle property, i.e. the posterior distribution for the parameter of interest is asymptotically normal and is as informative as if the true model were known. In addition, we show that the proposed quasi-posterior is valid to be interpreted as an approximate conditional distribution given a data summary.

연구 동기 및 목표

• 완전한 우도가 계산이 불가능한 상황에서의 우도 없는 설정에서 모델 선택을 위한 베이지안 프레임워크를 개발하는 것.
• 완전한 확률 모형 대신 모멘트 조건을 활용하여 복잡한 모델(종단적, 분위수, 그래픽 모델 등)에서도 강인한 추론을 가능하게 하는 것.
• 자료 요약에 기반한 조건부 분포에 대한 준우도 분포의 이론적 타당성을 확보하는 것.
• 약한 정규 조건 하에서 모수 추정에 대해 우도 일치성과 오라클 성질을 확립하는 것.
• 고차원 또는 복잡한 모델에서의 우도 추론을 위한 MCMC 기반 계산 가능 방법을 제공하는 것.

제안 방법

• 완전한 우도 대신 모멘트 조건에서 유도된 준우도 분포를 구성하는 베이지안 일반화된 모멘트(BGMM) 프레임워크를 제안한다.
• 모멘트 제약 조건에 기반한 추정 방정식을 사용하여 모델 비교를 위한 준우도 함수를 정의한다.
• MCMC 방법을 사용하여 BGMM에서 유도된 준우도 분포에서 샘플을 추출함으로써 완전한 베이지안 추론을 가능하게 한다.
• 약한 정규 조건 하에서 우도 일치성을 도출하여, 점차적으로 참 모형을 선택하는 것을 보장한다.
• 베이지안 오라클 성질을 확립: 관심 있는 모수에 대한 우도 분포는 점차적으로 정규 분포를 따르며, 참 모형이 알려져 있는 것처럼 최소 분산을 달성한다.
• 자료 요약에 기반한 조건부 분포에 대한 의미 있는 근사로서 준우도 분포의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 모멘트 조건만을 사용하여 우도 없는 방법에 대해 베이지안 모델 선택 접근법을 개발할 수 있는가?
• RQ2 제안된 BGMM 프레임워크는 참 모형을 선택하는 데 있어 우도 일치성을 달성하는가?
• RQ3 BGMM 우도 분포는 오라클 성질을 갖는가, 즉 참 모형이 알려져 있는 것처럼 점차적으로 정규 분포를 따르고 효율적인가?
• RQ4 준우도 분포는 자료 요약에 기반한 조건부 분포에 대한 타당한 근사로 해석될 수 있는가?
• RQ5 이 방법은 종단적 자료, 분위수 회귀, 그래픽 모델과 같은 실용적 적용에서 어떻게 성능을 보이는가?

주요 결과

• BGMM 방법은 우도 일치성을 달성하여, 표본 크기가 증가함에 따라 준우도 확률이 참 모형에 집중됨을 보여준다.
• 이 방법은 베이지안 오라클 성질을 보이며, 관심 있는 모수에 대한 우도 분포는 점차적으로 정규 분포를 따르고, 참 모형이 알려져 있는 것처럼 최소 분산을 달성한다.
• 준우도 분포는 자료 요약에 기반한 조건부 분포에 대한 이론적으로 타당한 근사로 간주되어, 일관된 베이지안 해석이 가능하다.
• 수치 예제들은 이 방법이 상관된 종단적 자료, 분위수 회귀, 부분 상관 기반 그래픽 모델을 효과적으로 모델링할 수 있음을 보여준다.
• 이 방법은 MCMC 계산을 지원하여, 완전한 우도가 계산이 불가능한 복잡한 모델에 대해서도 실용적으로 적용 가능하다.
• 이론적 결과는 약한 정규 조건 하에서도 성립하므로, 다양한 통계 모델에 대한 적용 가능성이 높아진다.