[논문 리뷰] Physics Constrained Learning for Data-driven Inverse Modeling from Sparse Observations

Kailai Xu, Eric Darve|arXiv (Cornell University)|2020. 02. 24.

Model Reduction and Neural Networks참고 문헌 45인용 수 22

한 줄 요약

이 논문은 희소 관측 자료로부터 역모델링을 위한 딥 뉴럴 네트워크 학습 중에 PDE 제약 조건을 정확히 이행하는 물리 기반 학습 프레임워크를 제안한다. 명시적 및 암시적 수치 해법을 모두 거쳐 역방향 자동 미분를 가능하게 함으로써, 특히 강성 문제에서 페널티 기반 방법에 비해 더 빠른 수렴과 향상된 안정성을 달성한다.

ABSTRACT

Deep neural networks (DNN) have been used to model nonlinear relations between physical quantities. Those DNNs are embedded in physical systems described by partial differential equations (PDE) and trained by minimizing a loss function that measures the discrepancy between predictions and observations in some chosen norm. This loss function often includes the PDE constraints as a penalty term when only sparse observations are available. As a result, the PDE is only satisfied approximately by the solution. However, the penalty term typically slows down the convergence of the optimizer for stiff problems. We present a new approach that trains the embedded DNNs while numerically satisfying the PDE constraints. We develop an algorithm that enables differentiating both explicit and implicit numerical solvers in reverse-mode automatic differentiation. This allows the gradients of the DNNs and the PDE solvers to be computed in a unified framework. We demonstrate that our approach enjoys faster convergence and better stability in relatively stiff problems compared to the penalty method. Our approach allows for the potential to solve and accelerate a wide range of data-driven inverse modeling, where the physical constraints are described by PDEs and need to be satisfied accurately.

연구 동기 및 목표

• 측정 가능한 물리 시스템 출력이 부분적으로만 가능할 때의 역모델링 과제를 해결한다.
• PDE 제약 조건을 근사적으로만 만족시키고 강성 문제에서 수렴 속도가 느린 페널티 기반 방법의 한계를 극복한다.
• 딥 뉴럴 네트워크와 수치적 PDE 해법을 모두 역방향 자동 미분을 통해 통합된 프레임워크로 다루는 것을 개발한다.
• 학습 중에 PDE 제약 조건을 정확히 이행함으로써 해의 정확성과 최적화 안정성을 향상시킨다.
• 복잡한 물리 시스템을 지배하는 PDE에 기반한 효율적이고 확장 가능한 데이터 기반 역모델링을 가능하게 한다.

제안 방법

• 예측값과 희소 관측값 간의 차이를 측정하는 손실 함수를 사용하여, 역문제를 PDE 제약 최적화 문제로 공식화한다.
• PDE 해를 네트워크 파라미터의 미분 가능 함수로 간주함으로써 페널티 항이 필요 없도록 제약 조건 이행 방법을 도입한다.
• 손실 함수의 네트워크 가중치에 대한 기울기를 계산하기 위해 역방향 자동 미분을 사용하며, PDE 해가 파라미터에 대해 암시적으로 의존하는 점을 통합한다.
• 전진-역전파 계산 패턴을 구현: 먼저 PDE 해를 시뮬레이션한다(전진), 그 후 신경망과 PDE 해법기 모두를 통해 기울기를 역전파한다.
• PDE 이산화에서 발생하는 대규모 희소 선형 시스템을 다루기 위해 희소 자이아르키안 계산과 효율적인 선형 해법기를 활용한다.
• 계수 구조를 통한 기울기 계산을 추상화한 계산 프레임워크(IGACS.jl)를 구축하여, PDE 제약 학습을 위한 고수준이고 읽기 쉬운 코드를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 중에 PDE 제약 조건을 정확히 이행함으로써, 희소 관측 자료를 가진 데이터 기반 역모델링에서 수렴성과 안정성이 향상되는가?
• RQ2 수렴 속도와 해의 정확성 측면에서 정확한 제약 조건 이행 방법은 페널티 기반 방법에 비해 어떻게 성능이 뛰어나게 되는가?
• RQ3 PDE 제약 학습을 위한 통합 자동 미분 프레임워크 내에서 명시적 및 암시적 수치 해법을 모두 미분할 수 있는가?
• RQ4 역방향 자동 미분의 사용이 PDE 제약 시스템에 통합된 딥 뉴럴 네트워크 학습의 계산 효율성에 어떤 영향을 미치는가?
• RQ5 페널티 방법이 수렴 속도가 매우 느린 강성 PDE 문제에 대해서도 제안된 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 특히 페널티 방법이 느리게 수렴하는 강성 문제에서 페널티 기반 방법에 비해 더 빠른 수렴과 더 나은 안정성을 달성한다.
• PDE 제약 조건을 정확히 이행함으로써 페널티 항에서 유발되는 근사 오차를 피할 수 있어 더 정확한 해를 도출한다.
• 역방향 자동 미분의 사용은 신경망과 암시적 PDE 해법기 모두를 통해 효율적인 기울기 계산을 가능하게 하며, 계산 효율성을 유지한다.
• 이 프레임워크는 명시적 및 암시적 수치 해법 모두를 지원하여 다양한 PDE 시스템에 광범위하게 적용 가능하다.
• IGACS.jl에서의 구현은 고수준 추상화(예: 계수 기반 연산자)를 사용하여 복잡한 PDE와 그 기울기를 성능 손실 없이 표현할 수 있음을 보여준다.
• 페널티 방법이 추가 변수를 도입하는 것과 달리, 이 방법은 PDE 해를 파rameter의 미분 가능 함수로 간주함으로써 최적화 변수의 수를 늘리지 않는다.