[논문 리뷰] Bayesian Indirect Inference and the ABC of GMM

Michael Creel, Jiti Gao외 2명|arXiv (Cornell University)|2015. 12. 23.

Bayesian Methods and Mixture Models인용 수 3

한 줄 요약

이 논문은 비모수 회귀를 통해 근사 베이지안 계산(ABC) 및 일반화된 모멘트 방법(GMM)의 국소 선형 및 다항식 추정기법을 제안하며, 수치 최적화나 MCMC 없이도 빈도주의 추론을 가능하게 한다. 점근적 타당성을 입증하고 이론적·유한 표본에서 국소 선형 방법이 국소 상수 방법보다 우수함을 보여준다.

ABSTRACT

In this paper we propose and study local linear and polynomial based estimators for implementing Approximate Bayesian Computation (ABC) style indirect inference and GMM estimators. This method makes use of nonparametric regression in the computation of GMM and Indirect Inference models. We provide formal conditions under which frequentist inference is asymptotically valid and demonstrate the validity of the estimated posterior quantiles for confidence interval construction. We also show that in this setting, local linear kernel regression methods have theoretical advantages over local constant kernel methods that are also reflected in finite sample simulation results. Our results also apply to both exactly and over identified models. These estimators do not need to rely on numerical optimization or Markov Chain Monte Carlo (MCMC) simulations. They provide an effective complement to the classical M-estimators and to MCMC methods, and can be applied to both likelihood based models and method of moment based models.

연구 동기 및 목표

• 수치 최적화나 MCMC에 의존하지 않는 비모수 회귀 기반 ABC 및 GMM 추정기법을 개발하기 위해.
• 빈도주의 추론이 ABC 및 GMM 설정에서 점근적으로 타당해지는 공식적 조건을 설정하기 위해.
• 간접 추정에서 국소 선형과 국소 상수 커널 방법의 이론적 및 유한 표본 성능을 비교하기 위해.
• 이러한 추정기법의 적용 범위를 정확히 규명된 모델과 과도하게 규명된 모델 모두로 확장하기 위해.
• 기존 M-추정기와 MCMC에 대한 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• ABC 및 GMM 프레임워크에서 점수 함수를 추정하기 위해 국소 선형 및 다항식 회귀를 활용한다.
• 명시적 우도 평가나 수치 최적화가 필요 없도록 비모수 회귀를 적용한다.
• 간접 추정 모델에서 조건부 기대값을 추정하기 위해 커널 기반 추정 기법을 적용한다.
• 유효한 빈도주의 추론과 사후 분위수 캘리브레이션을 보장하는 정규성 조건 하에서 점근적 성질을 도출한다.
• GMM 및 ABC에서 모멘트 조건의 추정에 커널 스무딩 기법을 통합한다.
• 이 방법이 정확히 규명된 모델과 과도하게 규명된 모델 모두에 적용 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 비모수 회귀 기법을 사용하여 MCMC나 최적화 없이 ABC 및 GMM를 효과적으로 구현할 수 있는가?
• RQ2 이러한 맥락에서 국소 선형과 국소 상수 커널 추정기의 이론적 및 유한 표본 성질은 무엇인가?
• RQ3 이러한 비모수 추정기법을 사용할 때 빈도주의 추론이 점근적으로 타당해지는 조건은 무엇인가?
• RQ4 제안된 추정기법은 전통적인 M-추정기와 비교해 효율성과 강건성 측면에서 어떻게 다른가?
• RQ5 이 방법으로 추정한 사후 분위수는 신뢰구간 구축에 신뢰성 있게 사용될 수 있는가?

주요 결과

• 제안된 추정기법은 공식적인 정규성 조건 하에서 빈도주의 추론에 대해 점근적으로 타당하다.
• 이론적으로 국소 선형 커널 회귀 방법이 국소 상수 방법보다 우수하며, 이는 유한 표본 시뮬레이션으로 확인되었다.
• 이 방법으로 추정한 사후 분위수는 신뢰구간 구축에 유효하다.
• 이 방법은 수치 최적화나 MCMC가 필요 없어 계산적으로 효율적이다.
• 이 방법은 정확히 규명된 모델과 과도하게 규명된 모델 모두에 적용 가능하여 적용 범위를 넓혔다.
• 이 추정기법은 우도 기반 및 모멘트 기반 모델 모두에서 전통적인 M-추정기와 MCMC에 대한 강건한 대안을 제공한다.