[논문 리뷰] ADCME: Learning Spatially-varying Physical Fields using Deep Neural Networks

Kailai Xu, Eric Darve|arXiv (Cornell University)|2020. 11. 24.

Model Reduction and Neural Networks참고 문헌 37인용 수 18

한 줄 요약

ADCME는 공간적으로 변화하는 물리장이 포함된 역문제를 PDE 제약 최적화 문제로 공식화하는 물리 기반 딥러닝 프레임워크를 제안한다. 수치 해석기와 딥 뉴럴 네트워크를 모두 계산 그래프로 표현함으로써, 역방향 자동 미분을 통한 효율적 기울기 계산과 물리 제약 학습을 가능하게 하여, 선형 및 비선형 PDE(예: 스토크스, 초탄성, 버거스 방정식)에 대해 소규모 데이터 환경에서 전통적인 이산화 방법보다 뛰어난 정확도를 달성한다.

ABSTRACT

ADCME is a novel computational framework to solve inverse problems involving physical simulations and deep neural networks (DNNs). This paper benchmarks its capability to learn spatially-varying physical fields using DNNs. We demonstrate that our approach has superior accuracy compared to the discretization approach on a variety of problems, linear or nonlinear, static or dynamic. Technically, we formulate our inverse problem as a PDE-constrained optimization problem. We express both the numerical simulations and DNNs using computational graphs and therefore, we can calculate the gradients using reverse-mode automatic differentiation. We apply a physics constrained learning algorithm (PCL) to efficiently back-propagate gradients through iterative solvers for nonlinear equations. The open-source software which accompanies the present paper can be found at https://github.com/kailaix/ADCME.jl.

연구 동기 및 목표

• 제한된 관측 데이터에서 공간적으로 변화하는 물리장의 학습에 있어 전통적인 이산화 방법의 불안정성과 낮은 정확도 문제를 해결하기 위해.
• 딥 뉴럴 네트워크와 물리 기반 수치 해석기를 통합한 통합 계산 프레임워크를 개발하기 위해.
• PDE 해석기와 DNN을 모두 계산 그래프로 표현하여 기울기 기반 최적화를 자동 미분을 통해 가능하게 하기 위해.
• 소규모 데이터 설정에서 딥 뉴럴 네트워크가 물리장에 대한 표현력 있고 정규화된 함수 근사기로 효과적으로 작용하는지 확인하기 위해.
• 확장 가능하고 미분 가능한 물리 시뮬레이션과 딥러닝 통합을 위한 오픈소스 소프트웨어 프레임워크(ADCME.jl)를 제공하기 위해.

제안 방법

• 역문제를 PDE 제약 최적화 문제로 공식화: 손실 함수 J(u)를 최소화하고, F(u, Nθ) = 0 조건을 만족시키며, 여기서 Nθ는 공간적으로 변화하는 물리장을 근사하는 DNN이다.
• 유한요소 해석기와 딥 뉴럴 네트워크를 모두 계산 그래프로 표현하여 역방향 자동 미분을 통한 엔드 투 엔드 자동 미분을 가능하게 한다.
• 뉴턴-라프슨과 같은 반복 비선형 해석기에서 기울기를 효율적으로 역전파하기 위해 체크포인팅 기반의 수반 방법을 사용하는 물리 제약 학습(PCL)을 구현한다.
• 성능과 개발 오버헤드의 균형을 위해 계산 그래프 내에서 텐서 수준 연산과 고수준 유한요소 어셈블리 기법을 사용한다.
• 스토크스 유동, 초탄성, 시간에 따라 변화하는 버거스 방정식과 같은 다양한 PDE에 프레임워크를 적용한다.
• 통제된 데이터 환경에서 벤치마크 역문제에 대해 메서드를 구현하고 벤치마크하기 위해 오픈소스 ADCME.jl 라이브러리를 활용한다.

실험 결과

연구 질문

• RQ1 소규모 데이터에서 공간적으로 변화하는 물리장을 학습할 때, 딥 뉴럴 네트워크가 전통적인 격자 기반 이산화 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 엔드 투 엔드 DNN-기반 물리 모델 학습 중에 비선형 PDE 해석기에서 기울기를 효율적으로 역전파할 수 있는 방법은 무엇인가?
• RQ3 물리장의 매개변수화로 DNN를 사용할 경우, 조각별로 일정하거나 노드 기반 이산화에 비해 매끄럽고 정확도가 향상되는 정도는 어느 정도인가?
• RQ4 제안된 프레임워크는 정적 및 동적, 선형 및 비선형 PDE를 일관되고 확장 가능한 성능으로 처리할 수 있는가?
• RQ5 최적화 및 정규화를 위한 DNN 아키텍처 선택이 불안정한 역문제에서 수렴성과 정확도에 미치는 영향은 어떠한가?

주요 결과

• 스토크스 문제에서 DNN 기반 접근법은 데이터가 제한된 상황에서도 이산화 방법보다 훨씬 낮은 점별 절대 오차를 달성했다.
• 초탄성 문제에서 DNN는 조각별 일정한 이산화 방식보다 더 매끄럽고 정확도가 높은 공간적으로 변화하는 영양율 모odulus 필드를 학습했으며, 최대 점별 오차도 낮았다.
• 버거스 방정식의 경우, 이산화 방법은 초기값이 일정한 상태에서 발산했지만, DNN 접근법은 60회 반복 내에 성공적으로 수렴했다.
• DNN 기반 방법은 특히 알려진 필드의 공간 상관성이 낮은 문제에서 손실 함수의 빠른 감소와 더 나은 일반화 성능을 보였다.
• 물리 제약 학습 접근법은 뉴턴-라프슨과 같은 비선형 해석기에서 안정적인 기울기 역전파를 가능하게 하여 엔드 투 엔드 학습의 실현 가능성을 높였다.
• 오픈소스 ADCME.jl 프레임워크는 유한요소 해석기와 딥러닝을 성공적으로 통합하여 계산 그래프와 체크포인팅을 통한 효율적 기울기 계산을 가능하게 하였다.