[论文解读] Bayesian Indirect Inference and the ABC of GMM

Michael Creel, Jiti Gao+2 more|arXiv (Cornell University)|Dec 23, 2015

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出了一种基于非参数回归的局部线性和多项式估计器，用于近似贝叶斯计算（ABC）与广义矩量法（GMM），实现了无需数值优化或MCMC的频率学推断。该方法建立了渐近有效性，并在理论上和有限样本中均表明局部线性方法优于局部常数方法。

ABSTRACT

In this paper we propose and study local linear and polynomial based estimators for implementing Approximate Bayesian Computation (ABC) style indirect inference and GMM estimators. This method makes use of nonparametric regression in the computation of GMM and Indirect Inference models. We provide formal conditions under which frequentist inference is asymptotically valid and demonstrate the validity of the estimated posterior quantiles for confidence interval construction. We also show that in this setting, local linear kernel regression methods have theoretical advantages over local constant kernel methods that are also reflected in finite sample simulation results. Our results also apply to both exactly and over identified models. These estimators do not need to rely on numerical optimization or Markov Chain Monte Carlo (MCMC) simulations. They provide an effective complement to the classical M-estimators and to MCMC methods, and can be applied to both likelihood based models and method of moment based models.

研究动机与目标

• 开发基于非参数回归的ABC与GMM估计器，避免依赖数值优化或MCMC。
• 建立在ABC与GMM设定下，频率学推断渐近有效的正式条件。
• 比较局部线性与局部常数核方法在间接推断中的理论与有限样本性能。
• 将这些估计器的适用范围扩展至恰好识别与过度识别模型。
• 为基于似然与基于矩的模型提供一种计算高效的经典M-估计器与MCMC的替代方案。

提出的方法

• 采用局部线性与多项式回归估计ABC与GMM框架中的得分函数。
• 利用非参数回归避免显式计算似然函数或进行数值优化。
• 应用基于核的估计技术，估计间接推断模型中的条件期望。
• 在正则性条件下推导渐近性质，确保有效的频率学推断与后验分位数校准。
• 将核平滑方法整合到GMM与ABC中矩条件的估计中。
• 证明该方法适用于恰好识别与过度识别模型。

实验结果

研究问题

• RQ1 非参数回归方法是否可有效用于实现ABC与GMM，而无需MCMC或优化？
• RQ2 在此背景下，局部线性与局部常数核估计器的理论与有限样本性质为何？
• RQ3 在何种条件下，使用这些非参数估计器时，频率学推断具有渐近有效性？
• RQ4 所提出的估计器在效率与稳健性方面与经典M-估计器相比如何？
• RQ5 该方法估计的后验分位数是否可可靠用于置信区间构造？

主要发现

• 在正式正则性条件下，所提出的估计器实现了频率学推断的渐近有效性。
• 理论分析与有限样本模拟均证实，局部线性核回归方法相较于局部常数方法具有优势。
• 通过该方法估计的后验分位数可用于构建置信区间，具有有效性。
• 该方法无需数值优化或MCMC，计算效率高。
• 该方法适用于恰好识别与过度识别模型，拓展了其适用范围。
• 估计器为基于似然与基于矩的模型提供了对经典M-估计器与MCMC的稳健替代方案。