[논문 리뷰] Deep Neural Network Approach to Forward-Inverse Problems

Hyeontae Jo, Hwijae Son외 2명|arXiv (Cornell University)|2019. 07. 27.

Model Reduction and Neural Networks참고 문헌 24인용 수 9

한 줄 요약

이 논문은 미분방정식의 해를 동시에 근사하는 전방 문제(forward problem)와 데이터로부터 모델 파라미터를 식별하는 역문제(inverse problem)를 동시에 수행하는 통합된 딥뉴럴네트워크(DNN) 아키텍처를 제안한다. 물리 기반 손실 함수, 자동 미분, 기울기 기반 최적화를 통합함으로써 선형 PDE에 대해 해석적 해에 수렴함을 입증하였으며, 1D/2D 이동, 열, 파동, Lotka-Volterra 시스템에 대해 안정적이지 않은 수치 조건(예: CFL 조건 위반)에서도 강건한 성능을 보였다.

ABSTRACT

In this paper, we construct approximated solutions of Differential Equations (DEs) using the Deep Neural Network (DNN). Furthermore, we present an architecture that includes the process of finding model parameters through experimental data, the inverse problem. That is, we provide a unified framework of DNN architecture that approximates an analytic solution and its model parameters simultaneously. The architecture consists of a feed forward DNN with non-linear activation functions depending on DEs, automatic differentiation, reduction of order, and gradient based optimization method. We also prove theoretically that the proposed DNN solution converges to an analytic solution in a suitable function space for fundamental DEs. Finally, we perform numerical experiments to validate the robustness of our simplistic DNN architecture for 1D transport equation, 2D heat equation, 2D wave equation, and the Lotka-Volterra system.

연구 동기 및 목표

• 미분방정식의 전방 및 역문제를 동시에 해결할 수 있는 단순화되고 통합된 딥러닝 프레임워크를 개발하는 것.
• 선형 PDE에 대해 적절한 함수 공간에서 DNN 해가 해석적 해에 수렴하는 이론적 분석을 제공하는 것.
• 고전적 안정성 조건을 위반하는 경우를 포함한 벤치마크 PDE 및 ODE에 대해 방법의 강건성을 검증하는 것.
• 수치 해석 전문 지식에 대한 의존도를 줄이기 위해 표준 딥러닝 라이브러리를 통해 구현이 가능하도록 하는 것.
• 현재 이론적 한계가 존재하나, 비선형 시스템에 대한 DNN의 잠재적 활용 가능성을 탐색하는 것.

제안 방법

• 지배 미분방정식에 맞게 조정된 활성화 함수를 사용하는 피드포워드 DNN 아키텍처를 사용한다.
• 네트워크 출력의 도함수를 계산하기 위해 자동 미분을 적용하여 물리 기반 손실 함수를 구현한다.
• 손실 함수는 PDE 잔여항, 경계/초기 조건, 그리고 역문제의 데이터 일치 항을 조합한다.
• 해와 함께 모델 파라미터(예: 이동 속도, 확산 계수)를 기울기 기반 최적화를 통해 학습한다.
• 훈련 안정성을 향상시키기 위해 차수 감소 기법을 적용한다.
• 에너지 추정과 이전의 도함수에 대한 보편 근사 정리의 확장에 기반해 이론적 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 일관된 방식으로 미분방정식의 전방 및 역문제를 효과적으로 동시에 해결할 수 있는 단일 DNN 아키텍처가 가능한가?
• RQ2 적절한 조건 하에서 선형 PDE의 DNN 해가 진정한 해석적 해에 수렴하는가?
• RQ3 CFL 조건을 위반하는 불안정한 수치적 스킴을 가진 방정식에 적용했을 때 이 방법의 강건성은 어떠한가?
• RQ4 이론적 수렴 보장이 없음에도 불구하고 비선형 시스템(예: Lotka-Volterra 방정식)을 DNN 아키텍처가 다룰 수 있는가?
• RQ5 이 방법은 영역 특화 수치 전문 지식의 필요성을 어느 정도 줄이는가?

주요 결과

• 에너지 추정과 보편 근사 이론에 기반해 $L_∞$ 노름에서 선형 PDE의 DNN 해가 해석적 해에 수렴함을 증명하였다.
• CFL 조건을 위반하는 상황에서도 1D 이동, 2D 열, 2D 파동, 그리고 Lotka-Volterra 방정식에 대해 높은 정확도로 해를 근사하는 데 성공하였다.
• 2D 열 방정식의 경우 버너 노이만 안정성 조건을 위반함에도 불구하고 정확한 결과를 도출하여 고전적 수치 제약 조건에 대한 저항성을 보였다.
• Lotka-Volterra 시스템에서 $\sin$ 활성화 함수의 사용이 해의 주기적 성격을 효과적으로 포착하여 근사 정확도를 향상시켰다.
• 모든 테스트 문제에서 낮은 손실 값(예: $10^{-4}$)을 달성하여 다양한 방정식에서 일관된 성능을 보였다.
• 모델 파rameter의 불확실성에 강건하며, 제한된 데이터 조건에서도 우수한 성능을 보여 데이터 기반 PDE에 대한 강력한 일반화 능력을 시사한다.