[논문 리뷰] Efficient PDE-Constrained optimization under high-dimensional uncertainty using derivative-informed neural operators

Dingcheng Luo, Thomas O’Leary-Roseberry외 2명|arXiv (Cornell University)|2023. 05. 31.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

본 논문은 고차원 불확실성 하에서 PDE 제약 최적화를 해결하기 위해 감소된 기저(structure)를 갖춘 도함수-정보 신경 연산자 MR-DINO를 도입하여 정확도를 유지하면서 큰 속도향상을 달성한다.

ABSTRACT

We propose a novel machine learning framework for solving optimization problems governed by large-scale partial differential equations (PDEs) with high-dimensional random parameters. Such optimization under uncertainty (OUU) problems may be computational prohibitive using classical methods, particularly when a large number of samples is needed to evaluate risk measures at every iteration of an optimization algorithm, where each sample requires the solution of an expensive-to-solve PDE. To address this challenge, we propose a new neural operator approximation of the PDE solution operator that has the combined merits of (1) accurate approximation of not only the map from the joint inputs of random parameters and optimization variables to the PDE state, but also its derivative with respect to the optimization variables, (2) efficient construction of the neural network using reduced basis architectures that are scalable to high-dimensional OUU problems, and (3) requiring only a limited number of training data to achieve high accuracy for both the PDE solution and the OUU solution. We refer to such neural operators as multi-input reduced basis derivative informed neural operators (MR-DINOs). We demonstrate the accuracy and efficiency our approach through several numerical experiments, i.e. the risk-averse control of a semilinear elliptic PDE and the steady state Navier--Stokes equations in two and three spatial dimensions, each involving random field inputs. Across the examples, MR-DINOs offer $10^{3}$--$10^{7} imes$ reductions in execution time, and are able to produce OUU solutions of comparable accuracies to those from standard PDE based solutions while being over $10 imes$ more cost-efficient after factoring in the cost of construction.

연구 동기 및 목표

• 고차원 불확실성(OUU) 하의 PDE 제약 최적화의 계산 병목 현상을 해결한다.
• 랜덤 매개변수와 최적화 변수에서 PDE 상태와 그 도함수까지 정확하게 매핑하는 신경 연산자 대체 모델을 개발한다.
• 훈련 과정에서 도함수 정보를 포함시켜 효율적인 그래디언트 기반 최적화를 가능하게 한다.
• 랜덤 필드 입력을 갖는 준선형 타원형 및 Navier–Stokes 문제에서의 확장 가능성을 입증한다.

제안 방법

• MR-DINO: 다중 입력 감소 기저 신경 연산 학습 프레임워크를 도입한다.
• 매개변수와 상태에 대한 고차원 입력을 차원 독립적 학습을 달성하기 위해 감소 기저로 인코딩한다.
• 신경 연산자를 해 맵과 그 최적화 변수에 대한 도함수(DINO)와 함께 학습한다.
• 위험 측정치를 위한 SAA에서 PDE 해를 빠른 신경 연산 평가와 그래디언트 자동 미분으로 대체한다.
• 연산자와 도함수 정확도 사이의 그래디언트 오차 경계에 대한 이론적 가이드(제안 3.1)를 제공한다.
• 상태에 대해 POD, 매개변수에 대해 PCA를 사용한 감소 기저 신경 아키텍처를 통해 저차원 매핑을 얻는 예시(식 19) 를 제시한다.

실험 결과

연구 질문

• RQ1 고차원 OUU 설정에서 PDE 해와 최적화 변수에 대한 도함수를 신경 연산자 대체로 근사하는 것이 가능하고 정확한가?
• RQ2 CVaR 기반 OUU에서 PDE 해를 MR-DINO 대체로 대체할 때 얼마나 빠르게 실행되며 어떤 정확도 트레이드오프가 발생하는가?
• RQ3 도함수 정보를 활용한 학습과 감소 기저 아키텍처가 비도함수 혹은 비감소 접근법에 비해 그래디언트 충실도와 최적화 성능이 우수한가?
• RQ4 다른 목표와 위험 측정치 하에서도 MR-DINO가 PDE 제약 OUU 내에서 재사용 가능한가?

주요 결과

• MR-DINO는 시험된 PDE들에서 실행 시간의 10^3배에서 10^7배까지의 감소를 달성한다.
• 신경 연산자는 PDE 기반 해와 비교한 OUU 해를 생성하면서도 구성 비용을 고려한 후 10배 이상 비용 효율적이다.
• 도함수 학습은 연산자 출력 정확도와 그래디언트 품질을 크게 향상시켜 더 높은 품질의 OUU 해를 얻게 한다.
• MR-DINO 아키텍처는 감소 기저(POD/PCA)를 활용하여 고차원 입력을 관리하고 확장 가능한 성능을 제공한다.
• 대리 모델은 실제 추가 비용 없이 서로 다른 목표와 위험 측정치를 갖는 OUU 문제 군에 재사용될 수 있다.