[论文解读] Learning High-Dimensional Parametric Maps via Reduced Basis Adaptive Residual Networks

Thomas O’Leary-Roseberry, Xiaosong Du+4 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Numerical Analysis Techniques被引用 5

一句话总结

该论文提出了一种可扩展的框架，通过在输入和输出的降维基底之间使用自适应残差网络（ResNets），实现对高维参数化映射的学习。通过结合降维基底压缩与深度自适应ResNet构建，该方法在有限训练数据下实现了高精度，优于基线神经网络策略，在参数化PDE和3D CFD机翼设计问题中表现更优。

ABSTRACT

We propose a scalable framework for the learning of high-dimensional parametric maps via adaptively constructed residual network (ResNet) maps between reduced bases of the inputs and outputs. When just few training data are available, it is beneficial to have a compact parametrization in order to ameliorate the ill-posedness of the neural network training problem. By linearly restricting high-dimensional maps to informed reduced bases of the inputs, one can compress high-dimensional maps in a constructive way that can be used to detect appropriate basis ranks, equipped with rigorous error estimates. A scalable neural network learning framework is thus to learn the nonlinear compressed reduced basis mapping. Unlike the reduced basis construction, however, neural network constructions are not guaranteed to reduce errors by adding representation power, making it difficult to achieve good practical performance. Inspired by recent approximation theory that connects ResNets to sequential minimizing flows, we present an adaptive ResNet construction algorithm. This algorithm allows for depth-wise enrichment of the neural network approximation, in a manner that can achieve good practical performance by first training a shallow network and then adapting. We prove universal approximation of the associated neural network class for $L^2_ν$ functions on compact sets. Our overall framework allows for constructive means to detect appropriate breadth and depth, and related compact parametrizations of neural networks, significantly reducing the need for architectural hyperparameter tuning. Numerical experiments for parametric PDE problems and a 3D CFD wing design optimization parametric map demonstrate that the proposed methodology can achieve remarkably high accuracy for limited training data, and outperformed other neural network strategies we compared against.

研究动机与目标

• 解决在仅有有限训练数据时，训练高维参数化映射的准确神经网络代理模型的挑战。
• 通过输入和输出的降维基底构建紧凑且信息丰富的参数化，降低神经网络训练的病态性。
• 开发一种可构造的、自适应的框架，以无需大量超参数调优的方式推断最优网络深度和降维基底秩。
• 实现实时决策和外循环问题（如不确定性量化和设计优化）中的实际性能。
• 为降维基底近似提供严格的误差估计，并为所得神经网络类提供通用逼近保证。

提出的方法

• 应用降维基底方法（如本征正交分解）将高维输入和输出空间压缩为低秩子空间。
• 构建一个残差神经网络（ResNet）以在降维输入和输出基底之间建立映射，学习压缩空间中的非线性关系。
• 提出一种自适应ResNet构建算法，从浅层网络开始，通过迭代训练逐步增加网络深度。
• 利用近期逼近理论中关于ResNets与序列最小化流的联系，确保深度增加时的收敛性和误差减少。
• 采用两步优化策略：首先使用Adam训练每一自适应层，然后通过LRSFN（有限内存拟牛顿法，带Hessian近似）进行端到端微调。
• 集成主动子空间方法以检测输入参数中的低维结构，进一步提升可压缩性和效率。

实验结果

研究问题

• RQ1 结合降维基底参数化与自适应ResNet架构，能否在有限训练数据下实现高维参数化映射的高精度代理建模？
• RQ2 如何自适应地确定ResNet的深度和宽度，以最小化超参数调优，同时确保收敛性和精度？
• RQ3 所提出的框架在学习参数化PDE和3D CFD设计映射方面，相较于标准神经网络架构在多大程度上表现更优？
• RQ4 该神经网络类在紧集上的$L^2_\nu$空间中具有通用逼近能力的理论依据是什么？
• RQ5 该框架能否为降维基底压缩和神经网络近似提供严格的误差估计？

主要发现

• 所提方法在2D Helmholtz问题和3D CFD机翼设计优化中均实现了显著的高精度，即使训练数据有限。
• 在Helmholtz问题和3D机翼设计案例中，自适应ResNet构建均优于基线神经网络策略，表现出更优的泛化能力和收敛性。
• 在3D机翼设计问题中，该框架以高保真度学习了200维输出映射（FFD控制点），满足升力、力矩、体积和厚度等复杂约束。
• 两步优化流程——先用Adam训练，再用LRSFN微调——带来了持续改进，LRSFN在深度10和深度5的实验中均表现出更好的收敛性。
• 该方法能够构造性地检测合适的降维基底秩和网络深度，显著减少对人工超参数调优的需求。
• 理论分析证实，所提出的神经网络类在紧集上的$L^2_\nu$函数中具有通用逼近性，为泛化能力提供了坚实基础。