[论文解读] Adaptive surrogate models for parametric studies

Jan N. Fuhg|arXiv (Cornell University)|May 12, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 167被引用 6

一句话总结

本硕士论文针对参数化研究中的基于克里金法的代理模型，全面评估了自适应采样技术，提出了适用于多保真度克里金法和混沌动力学二值分类的新型方法。研究结果表明，自适应采样显著减少了所需样本数量，同时保持了高精度，其中新提出的MIVor方案在识别杜芬振子中的混沌运动方面优于现有方法。

ABSTRACT

The computational effort for the evaluation of numerical simulations based on e.g. the finite-element method is high. Metamodels can be utilized to create a low-cost alternative. However the number of required samples for the creation of a sufficient metamodel should be kept low, which can be achieved by using adaptive sampling techniques. In this Master thesis adaptive sampling techniques are investigated for their use in creating metamodels with the Kriging technique, which interpolates values by a Gaussian process governed by prior covariances. The Kriging framework with extension to multifidelity problems is presented and utilized to compare adaptive sampling techniques found in the literature for benchmark problems as well as applications for contact mechanics. This thesis offers the first comprehensive comparison of a large spectrum of adaptive techniques for the Kriging framework. Furthermore a multitude of adaptive techniques is introduced to multifidelity Kriging as well as well as to a Kriging model with reduced hyperparameter dimension called partial least squares Kriging. In addition, an innovative adaptive scheme for binary classification is presented and tested for identifying chaotic motion of a Duffing's type oscillator.

研究动机与目标

• 通过在克里金法代理模型中采用自适应采样，最小化昂贵仿真次数，从而降低计算成本。
• 评估并比较多种自适应采样技术在基准问题和实际机械问题中的普通克里金法与多保真度克里金法的表现。
• 开发并验证一种新型自适应采样方案，用于二值分类任务，特别是识别动力系统中的混沌行为。
• 研究维度数量和问题复杂度对克里金法中自适应采样策略性能的影响。
• 通过降低超参数维度和采用多保真度建模，提升克里金法的鲁棒性与效率。

提出的方法

• 采用基于高斯过程的克里金法作为代理建模技术，使用通用与普通形式实现插值与不确定性量化。
• 实施包括交叉验证、基于方差、基于梯度以及基于委员会查询在内的自适应采样策略，迭代选择信息量丰富的样本。
• 提出一种新型MIVor（最小奇偶比方差）自适应采样方案，专用于克里金法中的二值分类。
• 通过整合低保真度与高保真度仿真，将克里金法扩展至多保真度场景，减少高保真度评估次数的同时提升模型精度。
• 采用偏最小二乘法（PLS）降低高维问题中的超参数维度，提升计算效率。
• 利用Rosenstein算法估算李雅普诺夫指数，以定义杜芬振子中混沌运动的二值分类器。

实验结果

研究问题

• RQ1 在多种基准函数中，哪种自适应采样技术能在最少样本下实现最准确的克里金法代理模型？
• RQ2 随着问题维度和复杂度的增加，自适应采样性能如何变化？
• RQ3 能否有效设计一种新型自适应采样方案，用于基于克里金法的混沌系统二值分类？
• RQ4 多保真度克里金法在降低高保真度仿真成本的同时，能在多大程度上提升代理模型的精度？
• RQ5 通过PLS实现的降维在多大程度上影响了高维参数空间中克里金法模型的稳定性与准确性？

主要发现

• MIVor自适应采样方案在杜芬振子中对混沌与非混沌运动的分类任务中显著优于标准方法，以更少样本实现了更高分类精度。
• 基于方差与基于交叉验证的自适应采样在阿凯利函数与六峰驼峰函数等基准函数上表现出更优的收敛性与准确性，尤其在低至中等维度下。
• 在Forrester函数与Currin函数上，多保真度克里金法相比单保真度方法将所需高保真度仿真次数减少了高达50%，同时保持或提升了预测精度。
• PLS-克里金法在高维问题（如10维Wong函数）中有效缓解了过拟合现象，提升了模型稳定性，降低了超参数估计误差。
• 自适应采样技术在低至中等维度问题（≤7D）中最为有效；在更高维度下性能下降，归因于维度灾难。
• 本研究证实，适当的归一化与停止准则对不同采样策略与问题类型的一致性能表现至关重要。