[论文解读] Kriging-based sequential design strategies using fast cross-validation techniques with extensions to multi-fidelity computer codes

Loïc Le Gratiet, Claire Cannamela|arXiv (Cornell University)|Oct 23, 2012

Advanced Multi-Objective Optimization Algorithms参考文献 21被引用 12

一句话总结

本文提出了一种基于克里金法的序贯设计策略，通过结合克里金法方差与留一法交叉验证（LOO-CV）误差，以提高代理模型精度，聚焦于预测误差较高的区域。该方法进一步扩展至多保真度共克里金法，实现对高保真与低保真代码版本模拟资源的最优分配，在低保真代码具有信息量时表现优于标准克里金法，而在其无信息量时性能相当。

ABSTRACT

Kriging-based surrogate models have become very popular during the last decades to approximate a computer code output from few simulations. In practical applications, it is very common to sequentially add new simulations to obtain more accurate approximations. We propose in this paper a method of kriging-based sequential design which combines both the error evaluation providing by the kriging model and the observed errors of a Leave-One-Out cross-validation procedure. This method is proposed in two versions, the first one selects points one at-a-time. The second one allows us to parallelize the simulations and to add several design points at-a-time. Then, we extend these strategies to multi-fidelity co-kriging models which allow us to surrogate a complex code using fast approximations of it. The main advantage of these extensions is that it not only provides the new locations where to perform simulations but also which versions of code have to be simulated (between the complex one or one of its fast approximations). A real multi-fidelity application is used to illustrate the efficiency of the proposed approaches. In this example, the accurate code is a two-dimensional finite element model and the less accurate one is a one-dimensional approximation of the system.

研究动机与目标

• 通过结合克里金法方差与LOO-CV误差，按预测误差最高的区域顺序选择新的设计点，以提高克里金代理模型的精度。
• 开发一种可并行化的序贯设计策略，一次添加多个点，同时保持精度。
• 将所提出的准则扩展至多保真度共克里金模型，实现对输入位置与代码版本（高保真或低保真）的联合选择以进行模拟。
• 通过考虑其相对计算成本与预测贡献，优化高保真与低保真代码之间的资源分配。
• 在涉及球形容器的有限元实际应用中验证该方法，其中一维近似作为低保真代码。

提出的方法

• 该方法利用LOO-CV误差识别真实模型误差较高的区域，补充克里金法方差仅反映设计点接近度的局限性。
• 利用Dubrule（1983）提出的快速解析公式高效计算LOO-CV误差，避免昂贵的重新训练。
• 针对序贯克里金法，提出两种策略：单点依次添加与多点批量添加，后者支持并行模拟。
• 针对多保真度共克里金法，该方法引入IMSE减少的代理指标，同时考虑各代码层级对总方差的贡献及其CPU时间比。
• 该方法不仅确定采样位置，还基于单位时间内预期误差减少量，决定模拟的代码版本（低保真或高保真）。
• 该算法动态分配不同代码层级的计算任务，早期在低保真代码具有信息量时优先使用，随着模型收敛逐步转向高保真代码。

实验结果

研究问题

• RQ1 将克里金法方差与LOO-CV误差结合，是否能比仅使用方差的准则更有效地实现序贯设计，特别是在非平稳问题中？
• RQ2 如何在保持克里金法代理建模精度的前提下，高效地实现序贯设计的并行化？
• RQ3 多保真度共克里金法是否能从一种联合优化输入位置与代码版本选择的序贯设计策略中受益？
• RQ4 所提出的方法如何适应低保真与高保真代码之间相关性变化？当低保真代码无信息量时，其性能如何？
• RQ5 在固定CPU预算下，该方法在多保真度代码之间计算资源分配的优化程度如何？

主要发现

• 所提出的克里金法准则在非平稳函数上显著优于经典基于方差的准则，且在经验均方误差（MSE）上收敛更快。
• 在平稳函数上，新准则与经典准则表现相当，证实其在不同函数类型下的鲁棒性。
• 在球形容器应用中，该方法成功识别出低保真代码与高保真代码仅弱相关（45%），因此仅分配极少计算量至其。
• 当低保真代码具有信息量时，多保真度共克里金法策略的性能优于仅使用克里金法，证明了多保真度建模的价值。
• 序贯共克里金法策略在早期动态分配更多模拟至低保真代码，随着模型改进逐步转向高保真代码，与理论预期一致。
• 当低保真代码无信息量时，该方法性能与克里金法相当，证实其在该情况下不会降低性能。