[论文解读] Can CNNs Construct Highly Accurate Model Efficiently with Limited Training Samples

Yu Li, Wang Hu+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 49被引用 2

一句话总结

本文提出使用卷积神经网络（CNNs）构建高维、非线性工程问题的高精度、高效代理模型，且训练样本有限。通过利用CNN的分层特征提取和参数共享能力，该方法在数据稀疏的情况下仍能实现优于传统代理建模技术的精度和泛化能力。

ABSTRACT

It is well known that metamodel or surrogate modeling techniques have been widely applied in engineering problems due to their higher efficiency. However, with the increase of the linearity and dimensions, it is difficult for the present popular metamodeling techniques to construct reliable metamodel and apply to more and more complicated high dimensional problems. Recently, neural networks (NNs), especially deep neural networks (DNNs) have been widely recognized as feasible and effective tools for multidiscipline. Actually, some popular NNs, such as back propagation neural networks (BPNNs) can be regarded as a kind of metamodeling techniques. However, for high dimensional problems, it seems difficult for a BPNN to construct a metamodel. In this study, to construct the high accurate metamodel efficiently, another powerful NN, convolutional neural networks (CNNs) are introduced to construct metamodels. Considering the distinctive characteristic of the CNNs, the CNNs are considered to be a potential modeling tool to handle highly nonlinear and dimensional problems with the limited training samples.

研究动机与目标

• 解决构建高维、非线性工程问题可靠代理模型的挑战。
• 探究在训练数据有限时，CNNs是否能优于传统代理建模技术（如BPNNs）。
• 开发一种基于CNNs的高效、精确建模框架，用于复杂、高维系统。
• 评估在数据稀缺条件下，基于CNN的代理模型的泛化能力。

提出的方法

• 本研究采用卷积神经网络（CNNs）作为高维问题的代理建模技术。
• 利用CNNs的分层特征学习和参数共享能力，以减少有限训练样本下的过拟合。
• 网络架构设计为处理结构化网格输入数据，从而有效提取局部与全局模式。
• 将该方法与传统代理建模技术（如反向传播神经网络，BPNNs）进行对比。
• 使用有限数据集进行训练，以模拟现实工程场景中的稀疏数据。
• 通过均方误差和决定系数（R-squared）等标准指标评估性能，以衡量精度和泛化能力。

实验结果

研究问题

• RQ1 在训练数据有限时，CNNs能否构建高精度的代理模型？
• RQ2 在高维问题中，基于CNN的代理模型与传统方法（如BPNNs）相比性能如何？
• RQ3 在工程应用中，CNNs在数据稀疏条件下的泛化能力如何？
• RQ4 CNNs能否在极少数训练样本下有效捕捉高维输入空间中的非线性关系？

主要发现

• 与传统方法相比，CNNs在构建高维、非线性问题的代理模型时表现出更优的精度。
• CNNs的分层特征提取能力使其在有限训练样本下具备更优的泛化能力。
• CNNs中的参数共享机制可减少过拟合，从而在数据稀缺场景下提升可靠性。
• 在相同条件下，基于CNN的代理模型比BPNNs获得更高的决定系数（R-squared）和更低的均方误差。
• 该方法能有效捕捉高维输入空间中的复杂非线性模式。
• 结果证实，CNNs是工程应用中稀疏数据场景下传统代理建模技术的有前途替代方案。