[论文解读] Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach

Christos Lataniotis, Stefano Marelli+1 more|arXiv (Cornell University)|Dec 15, 2018

Probabilistic and Robust Engineering Design参考文献 64被引用 5

一句话总结

该论文提出了一种数据驱动的非侵入式框架，称为 DRSM（降维与代理建模），在高维问题中联合优化降维（通过 KPCA）和代理建模（克里金法或多项式混沌展开，PCE）。通过使用低精度代理模型进行嵌套优化，并利用留一法交叉验证进行验证，DRSM 在泛化误差方面优于传统顺序方法，实现了高达 10^4 个输入维度的有效代理建模。

ABSTRACT

Thanks to their versatility, ease of deployment and high-performance, surrogate models have become staple tools in the arsenal of uncertainty quantification (UQ). From local interpolants to global spectral decompositions, surrogates are characterised by their ability to efficiently emulate complex computational models based on a small set of model runs used for training. An inherent limitation of many surrogate models is their susceptibility to the curse of dimensionality, which traditionally limits their applicability to a maximum of $\mathcal{O}(10^2)$ input dimensions. We present a novel approach at high-dimensional surrogate modelling that is model-, dimensionality reduction- and surrogate model- agnostic (black box), and can enable the solution of high dimensional (i.e. up to $\mathcal{O}(10^4)$) problems. After introducing the general algorithm, we demonstrate its performance by combining Kriging and polynomial chaos expansions surrogates and kernel principal component analysis. In particular, we compare the generalisation performance that the resulting surrogates achieve to the classical sequential application of dimensionality reduction followed by surrogate modelling on several benchmark applications, comprising an analytical function and two engineering applications of increasing dimensionality and complexity.

研究动机与目标

• 解决代理建模中的维度灾难问题，该问题使经典方法的输入维度上限约为 10^2。
• 克服传统两步法中无监督降维（如 PCA）后接代理建模的次优性，该方法忽略了输出信息。
• 开发一种非侵入式、黑箱框架，集成降维与代理建模，无需修改现有算法。
• 在仅有限组输入-输出观测值的高维、数据驱动场景中，实现精确的代理建模。
• 在分析性问题和复杂工程问题中，随着维度增加，证明该框架的鲁棒性与泛化性能。

提出的方法

• 构建一个嵌套优化问题，联合调优降维（KPCA）和代理建模（克里金法或 PCE）的参数。
• 在优化阶段使用低精度代理模型（如使用粗网格的克里金法）以降低计算成本。
• 采用留一法交叉验证（LOO）误差作为泛化误差的代理，以指导参数选择。
• 应用核主成分分析（KPCA）并使用数据自适应核（如 RBF），以捕捉高维输入中的非线性结构。
• 使用全局优化策略同时优化降维空间的维度和核超参数。
• 最后，利用前序步骤中确定的最优参数训练高精度代理模型，确保非侵入性并兼容现成工具。

实验结果

研究问题

• RQ1 联合优化框架是否能在高维问题中优于经典的顺序方法（即先降维后代理建模）？
• RQ2 通过输出感知核调优的有监督降维（如 KPCA）相比无监督方法（如 PCA）在代理泛化方面有何改进？
• RQ3 在联合降维与代理建模优化的背景下，留一法交叉验证误差在多大程度上可作为泛化误差的可靠代理？
• RQ4 所提出的 DRSM 框架是否在多种问题类型中保持优异性能，包括具有结构化输入的分析函数和复杂工程应用？
• RQ5 该框架是否可在完全数据驱动的场景中应用，而无需事先了解生成输入的底层随机过程？

主要发现

• 在所有基准问题中，DRSM 的验证误差始终低于顺序方法，尤其在基于克里金法的代理模型中改善最为显著。
• 对于克里金法，DRSM 在性能上优于 PCA 和采用距离保持调优的 KPCA，证明了输出信息引导降维的优势。
• 在多项式混沌展开（PCE）应用中，DRSM 相较于 PCA 和 KPCA 展现出微小但一致的改进，表明其在不同代理类型中的鲁棒性。
• 使用 LOO 误差作为泛化误差的代理，可在无需额外模型评估的情况下有效调优降维与代理建模参数。
• 该框架具有非侵入性，且与现成的代理建模工具兼容，可无缝集成至现有软件栈。
• DRSM 使高达 O(10^4) 个输入维度的问题实现有效的代理建模，显著扩展了经典代理模型的应用范围。