[논문 리뷰] Accelerating PDE-constrained Inverse Solutions with Deep Learning and Reduced Order Models

Sheroze Sheriffdeen, Jean C. Ragusa외 3명|arXiv (Cornell University)|2019. 12. 17.

Model Reduction and Neural Networks참고 문헌 22인용 수 16

한 줄 요약

이 논문은 고정밀도 PDE 해법에 대한 오차를 학습함으로써 투영 기반 ROM을 보정하는 딥러닝 강화 감소 차원 모델(DL-ROM)을 제안한다. 이는 물리적 일관성을 유지하면서 정확도를 크게 향상시키며, PDE 제약이 있는 역문제의 계산 속도를 가속화한다. 상대 오차가 0.01%로 감소하는 등 고정밀도 해법에 근접한 정확도를 달성하면서도, 계산 속도는 수개의 차수만큼 빨라진다. 이는 타원형 PDE와 중성자 운반 문제에서 입증되었다.

ABSTRACT

Inverse problems are pervasive mathematical methods in inferring knowledge from observational and experimental data by leveraging simulations and models. Unlike direct inference methods, inverse problem approaches typically require many forward model solves usually governed by Partial Differential Equations (PDEs). This a crucial bottleneck in determining the feasibility of such methods. While machine learning (ML) methods, such as deep neural networks (DNNs), can be employed to learn nonlinear forward models, designing a network architecture that preserves accuracy while generalizing to new parameter regimes is a daunting task. Furthermore, due to the computation-expensive nature of forward models, state-of-the-art black-box ML methods would require an unrealistic amount of work in order to obtain an accurate surrogate model. On the other hand, standard Reduced-Order Models (ROMs) accurately capture supposedly important physics of the forward model in the reduced subspaces, but otherwise could be inaccurate elsewhere. In this paper, we propose to enlarge the validity of ROMs and hence improve the accuracy outside the reduced subspaces by incorporating a data-driven ML technique. In particular, we focus on a goal-oriented approach that substantially improves the accuracy of reduced models by learning the error between the forward model and the ROM outputs. Once an ML-enhanced ROM is constructed it can accelerate the performance of solving many-query problems in parametrized forward and inverse problems. Numerical results for inverse problems governed by elliptic PDEs and parametrized neutron transport equations will be presented to support our approach.

연구 동기 및 목표

• 고정밀도 정방향 해법을 반복적으로 수행해야 하는 PDE 제약이 있는 역문제에서 발생하는 계산 병목 현상을 해결하기 위해.
• 물리적 일관성을 훼손하지 않으면서도 내재된 제한을 초월해 감소 차원 모델(ROM)의 정확도를 향상시키기 위해.
• 물리 보존 원리를 유지하는 ROM과 데이터 기반 딥러닝을 조합하여 고정밀도 시뮬레이션 및 관측 데이터를 활용해 ROM 오차를 보정하기 위해.
• 매개변수-관측치 맵을 빠르게 계산할 수 있도록 감소 차원 모델을 활용해 다수의 질의를 수행하는 역문제, 예를 들어 매개변수 추정 및 베이지안 추론을 효율적으로 해결하기 위해.
• 물리적 정밀도(ROM을 통해)와 정확도 향상(딥러닝을 통해)을 분리함으로써, 강건하고 일반화 가능한 서rogate 모델링을 가능하게 하기 위해.

제안 방법

• 감소 기저 Φ를 사용해 전체 순서 모델(FOM)을 낮은 차원의 부분공간에 투영하는 투영 기반 감소 차원 모델(ROM)을 구성함으로써 물리적 일관성과 계산 효율성을 확보한다.
• 다양한 매개변수 실현치에 대해 ROM 해와 고정밀도 FOM 해 사이의 오차를 학습하기 위해 딥 네트워크(DNN)를 훈련한다.
• ROM이 보존 및 안정성과 같은 핵심 물리적 성질을 유지하도록 제약 조건이 부여된 최소 제곱법을 적용한다.
• 매개변수 입력, 고정밀도 FOM 출력, ROM 출력의 데이터셋을 사용해 오차 함수 e(u) = FOM(u) - ROM(u)를 학습한다.
• 훈련된 DNN 오차 함수를 적용해 ROM 예측을 보정함으로써 DL-강화 ROM을 도출한다: FOM ≈ ROM + DNN(e(u)).
• 다수의 질의 문제, 특히 역문제에서 FOM 대신 DL-강화 ROM을 사용함으로써 계산 비용을 극적으로 감소시키면서도 고정밀도 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 물리 보존 원리를 유지하는 감소 차원 모델의 오차를 효과적으로 보정하여 다양한 매개변수 영역에서 높은 정확도를 달성할 수 있는가?
• RQ2 PDE 제약이 있는 역문제에서 표준 ROM 및 블랙박스 딥러닝 서rogate와 비교해 DL-강화 ROM의 정확도와 효율성은 어떠한가?
• RQ3 복잡한 벤치마크인 중성자 운반 문제에서, DL-강화 ROM이 고정밀도 해법에 비해 양적 관심사의 상대 오차를 얼마나 줄일 수 있는가?
• RQ4 ROM을 통한 물리적 통합과 DNN를 통한 정확도 향상의 분리가 종단 간 딥러닝보다 더 신뢰할 수 있고 일반화 가능한 모델을 만들어내는가?
• RQ5 매개변수 추정 또는 베이지안 추론과 같이 많은 정방향 평가가 필요한 역문제에서 DL-강화 ROM을 효과적으로 사용할 수 있는가?

주요 결과

• 22차원 ROM에서 DL-강화 ROM은 양적 관심사의 상대 오차를 0.010%로 감소시켰으며, 고정밀도 확산 FOM의 1.08%와 3차원 ROM의 114.05%보다 훨씬 낮았다.
• 감소 기저 벡터가 3개뿐이어도 DL-강화 ROM은 상대 오차 0.86%를 달성했으며, 보정되지 않은 ROM의 114.05% 오차보다 훨씬 우수했다.
• 감소 차원 모델의 계산 비용을 수개의 차수만큼 감소시켰음에도 불구하고, 고정밀도 해법에 근접한 정확도(0.01% 오차)를 달성했다.
• DNN가 학습한 오차 함수는 확산 ROM의 체계적 오차를 효과적으로 보정했으며, 이는 ROM 자체가 기초 물리 모델 근사의 한계에 빠져 있더라도 가능했다.
• 확산 해법과 운반 해법 사이의 격차를 학습함으로써 고정밀도 확산 FOM(1.06% 오차)보다도 성능이 뛰어나, 직접 근사가 아닌 오차 모델링의 가치를 입증했다.
• DL-강화 ROM는 희소한 온도 관측치를 기반으로 열전도도 재구성에 대한 결정론적 역문제를 효율적으로 해결함으로써 실용적인 역문제 환경에서의 유용성을 입증했다.