[论文解读] Automated Design using Neural Networks and Gradient Descent

Oliver Hennigh|arXiv (Cornell University)|Oct 27, 2017

Model Reduction and Neural Networks参考文献 12被引用 7

一句话总结

本文提出了一种新颖的自动化设计框架，利用深度神经网络近似复杂的物理仿真，并采用梯度下降法实现高效优化。通过训练神经网络以预测性能（例如升阻比或散热效率），该方法将设计优化速度相比传统基于仿真的方法提升了5,000倍以上，实现分钟级收敛而非数天，同时保持高精度。

ABSTRACT

We propose a novel method that makes use of deep neural networks and gradient decent to perform automated design on complex real world engineering tasks. Our approach works by training a neural network to mimic the fitness function of a design optimization task and then, using the differential nature of the neural network, perform gradient decent to maximize the fitness. We demonstrate this methods effectiveness by designing an optimized heat sink and both 2D and 3D airfoils that maximize the lift drag ratio under steady state flow conditions. We highlight that our method has two distinct benefits over other automated design approaches. First, evaluating the neural networks prediction of fitness can be orders of magnitude faster then simulating the system of interest. Second, using gradient decent allows the design space to be searched much more efficiently then other gradient free methods. These two strengths work together to overcome some of the current shortcomings of automated design.

研究动机与目标

• 解决复杂工程系统中因搜索空间庞大且仿真计算昂贵而导致的自动化设计计算不可行问题。
• 通过训练神经网络以模拟物理系统的性能函数，实现快速、可微分的优化。
• 在真实工程问题上验证该方法的有效性：稳态流场下的散热器设计与二维/三维机翼优化。
• 表明基于神经网络代理模型的梯度优化方法相比模拟退火等无梯度方法，在收敛速度和样本效率方面显著更优。
• 提出一种改进的神经网络架构，用于从几何输入预测稳态流场，优于先前的方法。

提出的方法

• 训练深度神经网络，基于几何参数预测设计的性能（例如升阻比或散热效率），使用高保真仿真生成的数据。
• 利用训练后神经网络的可微性，通过反向传播计算性能相对于设计参数的梯度。
• 在神经网络输出上应用梯度下降优化，迭代改进设计，利用快速梯度计算优势。
• 执行多角度优化（例如9个迎角），以降低陷入局部最优的可能性并提升泛化能力。
• 使用格子玻尔兹曼方法（Lattice Boltzmann Method, LBM）作为高保真仿真器，生成神经网络的训练数据。
• 在优化过程中用快速的神经网络推理替代完整的物理仿真，将每次迭代时间从约38秒（二维）减少至0.052秒。

实验结果

研究问题

• RQ1 深度神经网络代理模型能否通过替代昂贵的物理仿真，显著加速自动化设计？
• RQ2 与模拟退火等无梯度方法相比，基于可微神经网络代理模型的梯度优化在收敛速度和样本效率方面表现如何？
• RQ3 神经网络近似所得到的性能景观的平滑性在多大程度上能够实现鲁棒优化，避免陷入局部最优？
• RQ4 所提出的神经网络架构能否准确预测从几何输入出发的稳态流场，优于先前方法？
• RQ5 多角度优化是否能提升复杂气动问题中设计过程的鲁棒性与收敛性？

主要发现

• 所提方法在200次迭代内实现收敛，而模拟退火在二维机翼问题上实现相当性能至少需要1,500次迭代。
• 神经网络代理将单次迭代计算时间从37.8秒（二维LBM仿真）降低至0.052秒，使总优化时间提升5,000倍。
• 神经网络预测的性能景观平滑且可微，即使存在局部最优，仍能实现高效的梯度优化。
• 采用不同初始设计的多次优化运行均收敛至相似的高性能机翼形状，表明该方法具有鲁棒性与一致性。
• 用于流场预测的改进神经网络架构优于先前方法，使复杂气动任务的性能评估实现高精度与高效率。
• 该方法展现出强大的可扩展性，在二维与三维机翼优化任务中均表现出色，适用于稳态流场条件。