[论文解读] Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression

Kapoor, Sarthak, Harsh Vardhan+4 more|arXiv (Cornell University)|Nov 16, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出 ϵ-HQS，一种面向工程设计中深度回归的可扩展、无需集成的批量主动学习方法，采用学生-教师框架以最小化标注成本选择信息量丰富的样本。通过训练教师网络基于学生模型误差预测故障概率，ϵ-HQS 在固定预算约束下，于计算流体动力学（CFD）、有限元分析（FEA）及螺旋桨设计任务中，均实现了优于基线方法的代理模型精度。

ABSTRACT

High fidelity design evaluation processes such as Computational Fluid Dynamics and Finite Element Analysis are often replaced with data driven surrogates to reduce computational cost in engineering design optimization. However, building accurate surrogate models still requires a large number of expensive simulations. To address this challenge, we introduce epsilon HQS, a scalable active learning strategy that leverages a student teacher framework to train deep neural networks efficiently. Unlike Bayesian AL methods, which are computationally demanding with DNNs, epsilon HQS selectively queries informative samples to reduce labeling cost. Applied to CFD, FEA, and propeller design tasks, our method achieves higher accuracy under fixed labeling cost budgets.

研究动机与目标

• 通过最小化昂贵仿真次数，降低工程设计中代理模型训练数据生成的高计算成本。
• 解决现有贝叶斯主动学习方法在应用于深度神经网络时面临的可扩展性与效率限制。
• 开发一种样本高效的主动学习策略，使其在高维设计空间中优于随机采样与启发式采样方法。
• 在计算流体动力学（CFD）、有限元分析（FEA）及螺旋桨设计等复杂工程领域中，以极低的标注预算实现高精度的代理建模。

提出的方法

• 该方法采用学生-教师神经网络框架，其中学生网络学习从输入设计空间到输出响应的仿真器映射关系。
• 教师网络基于学生预测结果生成的自定义“测试报告”数据集进行训练，使用基于分数误差阈值（α = 0.05）的二元故障标签。
• 故障概率作为教师网络的输出，用于引导批量采样向预测不确定性或误差较高的区域集中。
• 获取函数选择预测故障概率最高的前-k 个样本进行标注，从而实现批量模式的主动学习。
• 学生与教师网络在每次迭代中使用新标注的数据重新训练，直至预算耗尽。
• 该方法采用动态 ϵ 调度策略（例如对数增长）以在主动学习过程中平衡探索与利用。

实验结果

研究问题

• RQ1 学生-教师主动学习框架是否能在工程设计的深度回归任务中超越传统主动学习与随机采样方法？
• RQ2 与基线获取函数相比，所提出的 ϵ-HQS 方法在高维设计空间中如何提升样本效率？
• RQ3 ϵ-HQS 的无集成、批量模式设计在保持高代理模型精度的同时，能在多大程度上降低计算开销？
• RQ4 该方法在计算流体动力学（CFD）、有限元分析（FEA）及螺旋桨设计等不同复杂度与维度的工程领域中是否具备良好的可扩展性？

主要发现

• 在 CFD 领域，ϵ-HQS 达到 97.62% 的准确率，显著优于次优方法 DBAL-10（96.13%），总样本预算为 500。
• 在 FEA 领域，ϵ-HQS 达到 87.56% 的准确率，显著优于随机采样（83.76%）与 top-B 采样（83.11%）。
• 在螺旋桨设计任务中，当 ϵ = 0.25 时，ϵ-HQS 达到 67.18% 的准确率，甚至超过贪婪版 ϵ-HQS 变体，并优于所有基线方法。
• 该方法在所有三个领域均表现出一致的优越性，且在更高维问题中性能增益更为显著。
• 由于其高样本效率及对昂贵仿真的依赖极低，ϵ-HQS 将标注时间从数小时至数天大幅缩短。