[论文解读] A theoretical framework for calibration in computer models: parametrization, estimation and convergence properties

Rui Tuo, Changbao Wu|arXiv (Cornell University)|Aug 28, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 19被引用 8

一句话总结

本文为计算机模型校准建立了理论框架，引入 $L_2$-一致性作为可靠参数估计的标准。它指出了原始 Kennedy-O’Hagan 方法中的不一致性，并提出了一种新颖的 $L_2$ 校准方法，实现了 $L_2$-一致性及最优收敛速率，解决了不确定性量化中的根本可识别性与估计问题。

ABSTRACT

Calibration parameters in deterministic computer experiments are those attributes that cannot be measured or available in physical experiments. Kennedy and O'Hagan \cite{kennedy2001bayesian} suggested an approach to estimate them by using data from physical experiments and computer simulations. A theoretical framework is given which allows us to study the issues of parameter identifiability and estimation. We define the $L_2$-consistency for calibration as a justification for calibration methods. It is shown that a simplified version of the original KO method leads to asymptotically $L_2$-inconsistent calibration. This $L_2$-inconsistency can be remedied by modifying the original estimation procedure. A novel calibration method, called the $L_2$ calibration, is proposed and proven to be $L_2$-consistent and enjoys optimal convergence rate. A numerical example and some mathematical analysis are used to illustrate the source of the $L_2$-inconsistency problem.

研究动机与目标

• 为确定性计算机模型的校准建立严格的理论基础，解决参数化、估计与收敛性问题。
• 通过使用 $L_2$-距离投影定义并形式化校准参数的概念，以确保可识别性。
• 分析并解决原始 Kennedy-O’Hagan (KO) 方法中的 $L_2$-不一致性问题。
• 提出一种新的 $L_2$ 校准方法，确保 $L_2$-一致性与最优收敛速率。
• 通过再生核希尔伯特空间（RKHS）中的函数逼近，为校准方法提供数学依据。

提出的方法

• 引入 $L_2$-一致性作为校准的理论依据，定义为估计响应在 $L_2$ 范数下收敛于真实响应。
• 使用高斯过程模型和再生核希尔伯特空间（RKHS）理论来建模计算机模拟输出与物理观测值。
• 应用 $L_2$-距离投影，将校准参数定义为物理响应与模拟响应之间 $L_2$-距离最小化的解。
• 通过基于核的函数空间对逼近误差进行界约束，推导收敛速率，其中设计密度呈现 $h^{k'}$-型衰减。
• 通过最小化物理响应与模拟响应之间的 $L_2$-范数差，提出 $L_2$ 校准方法，确保一致性。
• 采用泰勒展开与施瓦茨不等式，对估计误差进行界约束，并证明估计量收敛于真实校准参数。

实验结果

研究问题

• RQ1 为何原始 Kennedy-O’Hagan 方法导致 $L_2$-不一致校准？其不一致性的根源是什么？
• RQ2 在存在模型偏差的情况下，如何形式化定义校准参数以确保可识别性？
• RQ3 何种条件可确保校准方法的 $L_2$-一致性？这些条件如何实现？
• RQ4 能否构建一种新校准方法，使其达到最优收敛速率与 $L_2$-一致性？
• RQ5 基于核的函数逼近在确保校准估计量理论收敛性方面起何作用？

主要发现

• 原始 KO 方法的简化版本导致渐近 $L_2$-不一致校准，即估计响应在 $L_2$ 范数下不收敛于真实物理响应。
• $L_2$ 校准方法被证明具有 $L_2$-一致性，确保随着设计密度增加，估计响应在 $L_2$ 范数下收敛于真实物理响应。
• $L_2$ 校准方法实现了最优收敛速率 $O(h^{k'-1})$，其中 $h$ 为设计密度，$k'$ 为核的光滑性参数。
• 原始 KO 方法的估计误差被证明有界于 $O(h^{k'})$，该误差不足以实现 $L_2$-一致性；而 $L_2$ 校准方法在梯度上实现 $O(h^{k'-1})$ 的误差，从而实现一致性。
• 理论分析确认，在正则性条件下，真实参数处损失函数的黑塞矩阵是可逆的，从而保证估计量的局部唯一性与收敛性。
• 数值与分析结果表明，$L_2$-不一致性源于原始 KO 估计过程中权重分配不当，而新的 $L_2$ 校准框架对此问题进行了修正。