[论文解读] Adjustments to Computer Models via Projected Kernel Calibration

Rui Tuo|arXiv (Cornell University)|May 9, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 4

一句话总结

本文提出投影核校准方法，这是一种频派方法，在计算机模型校准中实现了渐近正态性和半参数效率。通过将核函数投影到与模拟器梯度正交的子空间上，该方法解决了Kennedy-O'Hagan方法的不一致性问题，并实现了无需大样本近似的自然贝叶斯解释，用于可信区间估计。

ABSTRACT

Identification of model parameters in computer simulations is an important topic in computer experiments. We propose a new method, called the projected kernel calibration method, to estimate these model parameters. The proposed method is proven to be asymptotic normal and semi-parametric efficient. As a frequentist method, the proposed method is as efficient as the $L_2$ calibration method proposed by Tuo and Wu [Ann. Statist. 43 (2015) 2331-2352]. On the other hand, the proposed method has a natural Bayesian version, which the $L_2$ method does not have. This Bayesian version allows users to calculate the credible region of the calibration parameters without using a large sample approximation. We also show that, the inconsistency problem of the calibration method proposed by Kennedy and O'Hagan [J. R. Stat. Soc. Ser. B. Stat. Methodol. 63 (2001) 425-464] can be rectified by a simple modification of the kernel matrix.

研究动机与目标

• 为解决Kennedy-O'Hagan（KO）贝叶斯校准方法在大样本极限下对先验选择的依赖性所导致的不一致性问题。
• 开发一种具有渐近正态性和半参数效率的频派校准方法，其性能与$L_2$校准方法相当。
• 提供该校准方法的自然贝叶斯版本，实现无需依赖大样本近似的可信区域估计。
• 通过基于核的正交性条件，修正现有校准框架中的可识别性与不一致性问题。
• 建立一个统一框架，结合频派效率与贝叶斯不确定性量化在计算机实验中的优势。

提出的方法

• 通过在再生核希尔伯特空间（RKHS）中相对于模拟器输出梯度对核函数进行正交化，引入投影核函数。
• 利用正交性条件$\hat{\theta}_n^* \perp \mathcal{G}_{\hat{\theta}_n^*}$定义投影算子$\mathcal{P}^\perp_{\mathcal{G}_\theta}$，确保偏差函数与模拟器敏感度空间正交。
• 通过从投影核导出的基函数构造校准估计器，实现对偏差函数的非参数估计。
• 该方法在渐近意义上等价于$L_2$校准方法，继承其频派性质，如一致性与效率。
• 通过在投影偏差上设定高斯过程先验，推导出贝叶斯版本，得到具有闭式表达的后部分布，其形式与KO方法相似，但一致性得到改进。
• 理论分析基于Donsker型熵条件和经验过程的渐近等度连续性，以建立收敛性与极限分布。

实验结果

研究问题

• RQ1 能否开发一种既具备频派效率又具有自然贝叶斯解释的校准方法？
• RQ2 投影核校准是否解决了原始Kennedy-O'Hagan方法固有的不一致性问题？
• RQ3 偏差与模拟器梯度之间的正交性条件能否用于构建一致且高效的估计器？
• RQ4 在效率与极限分布方面，投影核校准是否与$L_2$校准方法渐近等价？
• RQ5 能否在不依赖大样本近似的情况下计算校准参数的可信区域？

主要发现

• 投影核校准方法具有渐近正态性与半参数效率，其性能与$L_2$校准方法相当。
• 通过修改核矩阵以强制与模拟器梯度空间正交，该方法解决了KO方法的不一致性问题。
• 该方法的贝叶斯版本允许直接计算可信区间，无需依赖大样本近似，而$L_2$方法则不具备此特性。
• 估计器满足$\hat{\theta}_n^* \perp \mathcal{G}_{\hat{\theta}_n^*}$，确保估计方程中二阶项消失，从而获得更优的渐近性质。
• 通过经验过程理论推导出估计器的渐近分布，表明其收敛至正态分布，且方差-协方差矩阵达到半参数效率下界。
• 该方法在渐近意义上等价于$L_2$校准，因为在正则条件下，两者产生相同的极限分布。