[논문 리뷰] Learning High-Dimensional Parametric Maps via Reduced Basis Adaptive Residual Networks

Thomas O’Leary-Roseberry, Xiaosong Du외 4명|arXiv (Cornell University)|2021. 12. 14.

Advanced Numerical Analysis Techniques인용 수 5

한 줄 요약

이 논문은 입력과 출력의 압축 기저 사이의 적응형 잔차 신경망(ResNets)을 사용하여 고차원 파arametric 맵을 스케일러블하게 학습하는 프레임워크를 제안한다. 입력 및 출력의 압축 기저와 깊이에 따라 적응하는 ResNet 구조를 조합함으로써, 제한된 훈련 데이터로도 높은 정확도를 달성하며, 고차원 파라미터 PDE 문제와 3D CFD 날개 설계 문제에서 기준 신경망 전략을 능가한다.

ABSTRACT

We propose a scalable framework for the learning of high-dimensional parametric maps via adaptively constructed residual network (ResNet) maps between reduced bases of the inputs and outputs. When just few training data are available, it is beneficial to have a compact parametrization in order to ameliorate the ill-posedness of the neural network training problem. By linearly restricting high-dimensional maps to informed reduced bases of the inputs, one can compress high-dimensional maps in a constructive way that can be used to detect appropriate basis ranks, equipped with rigorous error estimates. A scalable neural network learning framework is thus to learn the nonlinear compressed reduced basis mapping. Unlike the reduced basis construction, however, neural network constructions are not guaranteed to reduce errors by adding representation power, making it difficult to achieve good practical performance. Inspired by recent approximation theory that connects ResNets to sequential minimizing flows, we present an adaptive ResNet construction algorithm. This algorithm allows for depth-wise enrichment of the neural network approximation, in a manner that can achieve good practical performance by first training a shallow network and then adapting. We prove universal approximation of the associated neural network class for $L^2_ν$ functions on compact sets. Our overall framework allows for constructive means to detect appropriate breadth and depth, and related compact parametrizations of neural networks, significantly reducing the need for architectural hyperparameter tuning. Numerical experiments for parametric PDE problems and a 3D CFD wing design optimization parametric map demonstrate that the proposed methodology can achieve remarkably high accuracy for limited training data, and outperformed other neural network strategies we compared against.

연구 동기 및 목표

• 제한된 훈련 데이터만 존재할 때 고차원 파arametric 맵에 대한 정확한 신경망 서rogate를 훈련하는 데 도전하는 것.
• 입력 및 출력의 압축 기저를 통해 조밀하고 정보적인 파arametrization을 구성함으로써 신경망 훈련의 불안정성을 줄이는 것.
• 광범위한 하이퍼파ram터 튜닝 없이도 최적의 네트워크 깊이와 압축 기저 질량을 유추할 수 있는 구축형 적응형 프레임워크 개발.
• 불확실성 정량화 및 설계 최적화와 같은 외부 루프 문제에서 실시간 의사결정에 실용적인 성능을 제공하는 것.
• 압축 기저 근사의 엄밀한 오차 추정과 결과 신경망 클래스의 일반적 근사 보장에 대한 이론적 기반 제공.

제안 방법

• 고차원 입력 및 출력 공간을 저질서 부분공간으로 압축하기 위해 감소 기저 방법(예: 적절한 직교 분해)을 적용한다.
• 압축된 입력 기저와 출력 기저 사이를 연결하는 잔차 신경망(ResNet)을 구축하여, 압축된 공간에서의 비선형 관계를 학습한다.
• 얕은 네트워크에서 시작하여 반복적 훈련을 통해 깊이를 점진적으로 증가시키는 적응형 ResNet 구축 알고리즘을 도입한다.
• 최근의 근사 이론을 활용하여 ResNet이 순차적 최소화 흐름과 연결됨을 고려하여 깊이 증가에 따라 수렴성과 오차 감소를 보장한다.
• 이중 단계 최적화 전략을 사용한다: 먼저 Adam으로 각 적응형 레이어를 훈련하고, 이후 LRSFN(Limited-memory Quasi-Newton with Hessian approximation)을 사용해 엔드 투 엔드로 미세조정한다.
• 활성 기저 방법을 통합하여 입력 파aram터에서 저차원 구조를 탐지함으로써, 더 높은 압축성과 효율성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터로도 압축 기저 파arametrization과 적응형 ResNet 아키텍처를 조합하여 고차원 파arametric 맵에 대해 높은 정확도의 서rogate 모델링을 달성할 수 있는가?
• RQ2 하이퍼파aram터 튜닝을 최소화하면서 수렴성과 정확도를 보장하는 방식으로 ResNet의 깊이와 넓이를 어떻게 적응적으로 결정할 수 있는가?
• RQ3 제안된 프레임워크는 고차원 파라미터 PDE 및 3D CFD 설계 맵 학습에서 표준 신경망 아키텍처를 얼마나 뛰어나게 성능을 높이는가?
• RQ4 제안된 신경망 클래스가 컴act 집합에서 $L^2_\nu$ 공간에서 일반적 근사를 수행할 수 있는 이론적 근거는 무엇인가?
• RQ5 이 프레임워크는 압축 기저 압축과 신경망 근사 양쪽에 대해 엄밀한 오차 추정을 제공할 수 있는가?

주요 결과

• 제안된 방법은 제한된 훈련 데이터로도 2D 헬름홀츠 문제와 3D CFD 날개 설계 최적화에 대해 놀라울 정도로 높은 정확도를 달성하였다.
• 헬름홀츠 문제와 3D 날개 설계 사례 모두에서 적응형 ResNet 구조가 기준 신경망 전략을 능가하여 더 뛰어난 일반화 성능과 수렴성을 보였다.
• 3D 날개 설계 문제에서는 복잡한 제약 조건인 양력, 모멘트, 부피, 두께를 모두 만족하는 200차원 출력 맵을 고정밀도로 학습하였다.
• 이중 단계 최적화 과정(초기 Adam 훈련 후 LRSFN 미세조정)은 일관된 성능 향상을 가져왔으며, 깊이 10 및 깊이 5 실험에서 LRSFN이 더 나은 수렴성을 보였다.
• 이 방법은 적절한 압축 기저 질량과 네트워크 깊이를 체계적으로 탐지할 수 있어, 수동 하이퍼파aram터 튜닝의 필요성을 크게 감소시켰다.
• 이론적 분석을 통해 제안된 신경망 클래스가 컴act 집합에서 $L^2_\nu$ 함수에 대해 일반적 근사를 수행함을 확인하였으며, 일반화에 대한 강력한 이론적 기반을 확보하였다.