[논문 리뷰] The Neural Network Approach to Inverse Problems in Differential Equations

Kailai Xu, Eric Darve|arXiv (Cornell University)|2019. 01. 23.

Numerical methods in inverse problems참고 문헌 43인용 수 34

한 줄 요약

이 논문은 자동 미분을 이용해 PDE 모델의 미지 함수 보정을 위한 신경망 프레임워크를 제시하고, 확산 문제에 대한 오차 수렴 분석과 관심량에 대한 민감도 분석 접근을 보인다.

ABSTRACT

We proposed a framework for solving inverse problems in differential equations based on neural networks and automatic differentiation. Neural networks are used to approximate hidden fields. We analyze the source of errors in the framework and derive an error estimate for a model diffusion equation problem. Besides, we propose a way for sensitivity analysis, utilizing the automatic differentiation mechanism embedded in the framework. It frees people from the tedious and error-prone process of deriving the gradients. Numerical examples exhibit consistency with the convergence analysis and error saturation is noteworthily predicted. We also demonstrate the unique benefits neural networks offer at the same time: universal approximation ability, regularizing the solution, bypassing the curse of dimensionality and leveraging efficient computing frameworks.

연구 동기 및 목표

• PDE 모델에서 미지 함수 f를 관찰 데이터로 보정하는 신경망 프레임워크를 제안한다.
• 데이터의 세분성 증가에 따른 수렴 및 특히 확산 모델 문제에 대한 프레임워크의 오차 추정치를 도출한다.
• 계산된 물리량의 신뢰성을 평가하기 위한 민감도 분석 방법을 도입한다.
• 선형 및 비선형 PDE 보정 문제에서 접근 방식을 시연하고 수치 결과를 논의한다.

제안 방법

• 네트워크 fθ로 미지수 함수 f를 근사하고 데이터 샘플 전반에 걸친 PDE 잔차를 측정하는 손실 함수를 통해 모델 일관성을 강제한다.
• 미분 discretization 포인트에서 신경망을 평가하고 이를 기존 수치 해석 스킴(명시적/암시적/반암시적)과 결합해 순방향 시뮬레이션에 활용한다.
• 자동 미분을 사용해 최적화 변수 θ의 기울기를 계산하고 엔드투엔드 학습을 가능하게 한다.
• 네트워크 가중치에 대한 균일한 제약을 도입해 도함수 경향과 규제 효과를 얻는다.
• 관측 오차, discretization으로 인한 일치성 오차, 최적화 오차로 구성된 오차 분해를 제공하고 |fθ − f|에 대한 전체 경계를 도출한다.
• 고차원 문제를 위한 더 깊은 구조를 촉진하기 위해 신경망의 근사 이론(단층 대 다층, Kolmogorov 초합성)을 논의한다.

실험 결과

연구 질문

• RQ1 신경망이 현실적인 잡음 및 이산화 조건 하에서 PDE의 미지 계수 함수들을 관측 데이터로부터 정확하게 복원할 수 있는가?
• RQ2 신경망 기반 역문제 프레임워크에서의 오차 원인과 크기는 무엇이며, 그것이 수렴에 어떤 영향을 미치는가?
• RQ3 이 프레임워크에서 관심량의 신뢰성을 평가하기 위한 민감도 분석은 어떻게 수행될 수 있는가?
• RQ4 신경망이 전통적 역문제 방법을 능가하는 규제화 및 차원 처리 이점을 제공하는가?

주요 결과

• 확산 모델에 대한 프레임워크의 오차 경계는 특정 데이터 및 최적화 가정하에 O(Δt^2 + h^2) 형태를 갖는다.
• 가중치가 한정된 신경망의 규제화는 학습된 fθ를 안정시키고 진짜 f가 좋지 않은 경우에 도움이 될 수 있다.
• 민감도 분석은 관심량에 대해 ‘민감한 영역’을 식별할 수 있으며, 이는 네트워크 매개변수에 대한 목표 함수의 기울기와 연결된다.
• 수치 실험은 이론적 오차 추정과 일치하는 경향을 보이고 데이터 해상도 향상에 따른 오차 포화점을 드러낸다.
• 이 방법은 보편 근사성, 규제화 및 표준 PDE 해결기와의 호환성을 활용한 유연한 엔드-투-엔드 보정 도구를 제공한다.