[论文解读] Hypothesis Testing for Validation and Certification

Clint Scovel, Ingo Steinwart|arXiv (Cornell University)|Feb 26, 2013

Simulation Techniques and Applications参考文献 34被引用 3

一句话总结

本文利用大偏差测度理论，将模型验证与认证形式化为统计假设检验问题，通过严格约束错误率，实现对实验数据范围之外区域的外推验证。通过构建具有保证的I类与II类错误控制的检验方法，即使在浓度参数未知的情况下，也能通过数据驱动的方法估计这些参数，从而实现外推验证。

ABSTRACT

We develop a hypothesis testing framework for the formulation of the problems of 1) the validation of a simulation model and 2) using modeling to certify the performance of a physical system. These results are used to solve the extrapolative validation and certification problems, namely problems where the regime of interest is different than the regime for which we have experimental data. We use concentration of measure theory to develop the tests and analyze their errors. This work was stimulated by the work of Lucas, Owhadi, and Ortiz where a rigorous method of validation and certification is described and tested. In a remark we describe the connection between the two approaches. Moreover, as mentioned in that work these results have important implications in the Quantification of Margins and Uncertainties (QMU) framework. In particular, in a remark we describe how it provides a rigorous interpretation of the notion of confidence and new notions of margins and uncertainties which allow this interpretation. Since certain concentration parameters used in the above tests may be unkown, we furthermore show, in the last half of the paper, how to derive equally powerful tests which estimate them from sample data, thus replacing the assumption of the values of the concentration parameters with weaker assumptions. This paper is an essentially exact copy of one dated April 10, 2010.

研究动机与目标

• 将模型验证与认证形式化为具有明确性能阈值和置信水平的统计假设检验问题。
• 利用大偏差测度不等式，解决部署环境与实验条件不同的外推验证挑战。
• 在量化裕度与不确定性（QMU）框架内，提供对置信度、裕度和不确定性的严格解释。
• 通过从样本数据中推导出这些参数的估计值，取代对浓度参数的强假设。
• 在弱假设下确保I类与II类错误率的理论保证，提升实际适用性。

提出的方法

• 将原假设与备择假设形式化为满足概率性能约束的随机变量集合：$\mathcal{H}_{a,p} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a) \geq p\}$ 与 $\mathcal{K}_{a',p'} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a') < p'\}$。
• 应用大偏差测度不等式，推导假设检验中I类与II类错误概率的上界。
• 引入对未知浓度参数 $D_F$ 与 $\mathcal{D}_F$ 的数据驱动估计器，以弱化假设，替代强先验假设。
• 利用损失函数的结构及其次高斯性质，通过 $f_H'(r_1,r_2,\delta)$ 与 $f_K'(r_1,r_2,\delta)$ 显式推导出具有误差界边界的检验统计量。
• 利用引理4.1与定理4.11，基于原假设与备择假设下检验统计量的期望，推导出错误概率的理论界。
• 通过为 $a$ 与 $p$ 构造容忍区间 $A$ 与 $P$，构建复合检验，允许客户指定的性能阈值具有灵活性，同时保持错误率保证。

实验结果

研究问题

• RQ1 如何将模型验证与认证严格形式化为具有明确性能阈值的统计假设检验问题？
• RQ2 大偏差测度理论在推导外推区域验证与认证测试误差界中起到什么作用？
• RQ3 在实际中如何放宽对已知浓度参数的假设，这对检验功效与可靠性有何影响？
• RQ4 所提出的检验在QMU框架中如何提供对置信度、裕度与不确定性的严格解释？
• RQ5 基于数据驱动的浓度参数估计能否产生与已知参数假设下同样功效的检验？

主要发现

• 该框架利用大偏差测度不等式，实现了具有保证的I类与II类错误率的严格假设检验，适用于验证与认证。
• 当浓度参数未知时，本文通过从样本数据中估计这些参数，推导出同样强大的检验方法，以弱化假设替代强先验约束。
• 错误概率的理论界通过 $f_H'(r_1,r_2,\delta)$ 与 $f_K'(r_1,r_2,\delta)$ 推导得出，其依赖于 $\mathcal{D}_F$ 与 $\mathcal{D}_{F'}$ 的经验估计。
• 结果在QMU框架中提供了对置信度的严格解释，通过检验结构与裕度、不确定性的显式关联得以体现。
• 推论5.1与5.2表明，当用数据驱动估计值替代理论上的 $\mathcal{D}_F$ 与 $\mathcal{D}_{F'}$ 时，错误界 $\delta_1$ 与 $\delta_2$ 依然得以保持，确保了鲁棒性。
• 通过容忍区间 $A$ 与 $P$，该方法支持客户灵活指定的性能阈值，实现实际适应性，同时保持理论保证。