[논문 리뷰] Derivative-Informed Projected Neural Networks for High-Dimensional Parametric Maps Governed by PDEs

Thomas O’Leary-Roseberry, Umberto Villa외 2명|arXiv (Cornell University)|2020. 11. 30.

Model Reduction and Neural Networks참고 문헌 57인용 수 22

한 줄 요약

이 논문은 PDE에 의해 지배되는 고차원 파arametric 맵를 효율적으로 대체하기 위해 도함수 기반 투영 신경망(DIPNets)을 제안한다. 입력에 대한 도함수 기반 활성 부분공간과 출력에 대한 적절한 직교 분해(POD)를 활용함으로써, 극소량의 학습 데이터로도 높은 정확도를 달성하며, 도전적인 다수의 쿼리 PDE 문제에서 뛰어난 일반화 능력과 치수에 독립적인 성능을 보여준다.

ABSTRACT

Many-query problems, arising from uncertainty quantification, Bayesian inversion, Bayesian optimal experimental design, and optimization under uncertainty-require numerous evaluations of a parameter-to-output map. These evaluations become prohibitive if this parametric map is high-dimensional and involves expensive solution of partial differential equations (PDEs). To tackle this challenge, we propose to construct surrogates for high-dimensional PDE-governed parametric maps in the form of projected neural networks that parsimoniously capture the geometry and intrinsic low-dimensionality of these maps. Specifically, we compute Jacobians of these PDE-based maps, and project the high-dimensional parameters onto a low-dimensional derivative-informed active subspace; we also project the possibly high-dimensional outputs onto their principal subspace. This exploits the fact that many high-dimensional PDE-governed parametric maps can be well-approximated in low-dimensional parameter and output subspace. We use the projection basis vectors in the active subspace as well as the principal output subspace to construct the weights for the first and last layers of the neural network, respectively. This frees us to train the weights in only the low-dimensional layers of the neural network. The architecture of the resulting neural network captures to first order, the low-dimensional structure and geometry of the parametric map. We demonstrate that the proposed projected neural network achieves greater generalization accuracy than a full neural network, especially in the limited training data regime afforded by expensive PDE-based parametric maps. Moreover, we show that the number of degrees of freedom of the inner layers of the projected network is independent of the parameter and output dimensions, and high accuracy can be achieved with weight dimension independent of the discretization dimension.

연구 동기 및 목표

• 고차원 파arametric PDE를 포함하는 다수의 쿼리 문제에서 발생하는 높은 계산 비용 문제를 해결한다.
• 비싼 PDE 해를 계산하는 데서 비롯된 극소량의 학습 데이터 조건에서도 정확하고 효율적이며 확장 가능한 대체 모델을 개발한다.
• 입력 파arameter와 출력 맵의 내재된 저차원 구조를 활용하여 모델 복잡도를 감소시킨다.
• 차원에 독립적이고, 저데이터 환경에서 잘 일반화되는 신경망 아키텍처를 구축한다.
• PDE 제약이 있는 추론 및 최적화 문제에서 전이 학습과 다중 정밀도 모델링을 위한 프레임워크를 제공한다.

제안 방법

• PDE에 의해 지배되는 파arametric 맵의 야코비안을 계산하여, 입력 파arameter 축소를 위한 도함수 기반 활성 부분공간을 식별한다.
• 출력 샘플에 대해 적절한 직교 분해(POD)를 적용하여 저차원 주요 출력 부분공간을 식별한다.
• 활성 부분공간과 POD의 기저 벡터를 사용하여 고차원 입력과 출력을 각각의 저차원 부분공간에 투영한다.
• 입력 및 출력 투영 기저를 사용해 첫 번째 및 마지막 레이어의 가중치를 고정함으로써, 학습 가능한 파rameter를 은닉층에만 국한시킨다.
• 저차원 은닉층만을 학습시켜, 파arametric 맵의 1차 기하학적 특성을 반영한 네트워크 아키텍처를 달성한다.
• 이산화 오차를 피하기 위해 연속적인 PDE 기반 민감도 정보를 사용함으로써, 무한차원 일致성을 확보한다.

실험 결과

연구 질문

• RQ1 극소량의 학습 데이터로도 도함수 기반 차원 축소가 고차원 PDE에 의해 지배되는 파arametric 맵의 대체 모델 정확도를 향상시킬 수 있는가?
• RQ2 입력 차원 축소에서 야코비안 기반 활성 부분공간이 KLE 기반 또는 무작위 투영과 비교하여 어떻게 성능을 냅니다?
• RQ3 제안된 DIPNet 아키텍처가 다양한 특성의 해를 보이는 다양한 PDE 문제에 대해 얼마나 높은 정확도를 유지하는가?
• RQ4 해석 차원에 관계없이 신경망의 학습 가능한 파rameter 수를 유지할 수 있는가?
• RQ5 입력 투영에 도함수 정보를 사용할 경우, 데이터 기반 또는 무작위 투영보다 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• DIPNets는 저데이터 환경에서 전체 공간 밀집 신경망보다 뛰어난 일반화 능력을 보이며, 상당히 높은 성능을 달성한다.
• DIPNet 전략은 대류-확산-반응 문제와 헬름홀츠 문제 양쪽 모두에서 높은 정확도를 달성했으며, KLE 기반 및 무작위 프로젝터 대비 뛰어난 성능을 보였다.
• 헬름홀츠 문제에서는 KLE가 투영 오차를 효과적으로 줄이지 못했지만, DIPNets는 활성 부분공간이 局소적이고 고주파 특징을 잘 해석할 수 있어 강력한 성능 유지를 이룩했다.
• DIPNet의 내부 레이어의 자유도 수는 입력 및 출력 차원과 무관하여, 치수에 독립적인 복잡도를 가능하게 한다.
• 투영 오차 분석을 통해 활성 부분공간과 POD 기저가 파arametric 맵의 내재된 차원을 최소한의 정보 손실로 효과적으로 축소하는 데 성공했다.
• 무한차원 일치성과 구조 인식 설계 덕분에, 전이 학습 및 다중 정밀도 모델링으로의 확장도 가능하다.