[论文解读] Indirect inference through prediction

Ernesto Carrella, Richard M. Bailey+1 more|arXiv (Cornell University)|Jul 4, 2018

Markov Chains and Monte Carlo Methods参考文献 6被引用 4

一句话总结

本文提出了一种新颖的间接推断方法，用正则化回归替代数值最小化，以估计基于模拟的模型中的模型参数。通过在模拟数据上训练回归模型，从摘要统计量预测参数，该方法自动选择并加权相关统计量，从而无需手动选择摘要统计量、定义距离函数或执行计算成本高昂的最小化过程，实现了通过分类实现的高效校准与模型选择。

ABSTRACT

By recasting indirect inference estimation as a prediction rather than a minimization and by using regularized regressions, we can bypass the three major problems of estimation: selecting the summary statistics, defining the distance function and minimizing it numerically. By substituting regression with classification we can extend this approach to model selection as well. We present three examples: a statistical fit, the parametrization of a simple real business cycle model and heuristics selection in a fishery agent-based model. The outcome is a method that automatically chooses summary statistics, weighs them and use them to parametrize models without running any direct minimization.

研究动机与目标

• 解决间接推断中的三大挑战：选择摘要统计量、定义距离函数以及数值最小化。
• 简化并自动化复杂模拟模型（尤其是具有不可计算似然函数的多主体模型与宏观经济学模型）的校准过程。
• 通过将回归替换为分类，将该方法扩展至模型选择。
• 通过利用正则化仅选择信息量丰富的摘要统计量，提升计算效率与鲁棒性。
• 提供一种用户友好、可解释的方法，使用社会科学家与研究人员熟悉的统计工具。

提出的方法

• 将间接推断估计重新表述为使用正则化线性回归而非数值最小化来解决的预测问题。
• 通过多次运行模型并使用不同的参数值，生成大量模拟数据，以构建（参数，摘要统计量）对的训练数据。
• 训练正则化回归模型（如Lasso或Ridge），从模拟的摘要统计量预测模型参数，其中正则化自动选择最具信息量的统计量。
• 通过将真实数据的观测摘要统计量代入训练好的回归模型，预测模型参数。
• 通过在模拟数据上训练分类器以预测每组摘要统计量由哪个模型生成，将该方法扩展至模型选择。
• 使用交叉验证与预测性能指标验证回归与分类模型，确保其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 正则化回归是否能在保持或提升估计精度的同时替代间接推断中的数值最小化？
• RQ2 正则化在无需先验领域特定选择的情况下，能否有效自动识别最具信息量的摘要统计量？
• RQ3 该框架是否可通过将回归替换为分类，扩展至模型选择？
• RQ4 与传统的模拟最小距离法或ABC方法相比，该方法在计算效率与鲁棒性方面表现如何？
• RQ5 当仅需进行单次预测时，使用全局回归模型与迁移学习方法相比有何影响？

主要发现

• 该方法成功避免了手动选择摘要统计量的需要，因为正则化能从大量统计量中自动识别最具预测力的统计量。
• 该方法消除了定义距离函数的需要，因为回归直接将摘要统计量映射到参数，通过学习过程隐式地对统计量进行加权。
• 在三个测试案例中，该方法均实现了准确的参数估计：一个统计线性拟合、一个真实商业周期模型，以及一个渔业多主体模型。
• 在渔业模型中，该方法正确识别出最优启发式策略（探索-利用-模仿），展示了其在模型选择中的实用性。
• 使用正则化回归确保仅相关摘要统计量对最终参数估计有贡献，从而提升了稳定性与可解释性。
• 该框架在模型复杂度增加时仍能良好扩展，可应用于高维数据与不可计算似然的模型。