[논문 리뷰] Optimizing a DIscrete Loss (ODIL) to solve forward and inverse problems for partial differential equations using machine learning tools

Petr Karnakov, Sergey Litvinov외 1명|arXiv (Cornell University)|2022. 05. 10.

Reservoir Engineering and Simulation Methods인용 수 12

한 줄 요약

ODIL은 유한차분 또는 유한요소 이산화된 편미분방정식(PDE)의 잔차를 최소화하는 방식으로 PDE의 해를 이산 최적화 문제로 공식화하며, 경사 및 뉴턴 방법을 사용한다. 이는 물리학 기반 신경망(PINNs)보다 주요 계산 비용을 수개월 정도 낮추고 수렴 속도를 빠르게 하면서도, 전통적인 수치 해법의 정확도, 희소성 및 보존 성질을 유지하므로, 부족한 데이터나 누락된 매개변수를 가진 정방향 및 역방향 PDE 문제에 매우 효과적이다.

ABSTRACT

We introduce the Optimizing a Discrete Loss (ODIL) framework for the numerical solution of Partial Differential Equations (PDE) using machine learning tools. The framework formulates numerical methods as a minimization of discrete residuals that are solved using gradient descent and Newton's methods. We demonstrate the value of this approach on equations that may have missing parameters or where no sufficient data is available to form a well-posed initial-value problem. The framework is presented for mesh based discretizations of PDEs and inherits their accuracy, convergence, and conservation properties. It preserves the sparsity of the solutions and is readily applicable to inverse and ill-posed problems. It is applied to PDE-constrained optimization, optical flow, system identification, and data assimilation using gradient descent algorithms including those often deployed in machine learning. We compare ODIL with related approach that represents the solution with neural networks. We compare the two methodologies and demonstrate advantages of ODIL that include significantly higher convergence rates and several orders of magnitude lower computational cost. We evaluate the method on various linear and nonlinear partial differential equations including the Navier-Stokes equations for flow reconstruction problems.

연구 동기 및 목표

• 물리학 기반 신경망(PINNs)이 해를 구하는 데 있어 계산 비용이 높고 수렴 속도가 느리며, 특히 정의되지 않은 문제나 역방향 문제를 해결하는 데에 한계가 있음을 해결하기 위해.
• 전통적인 수치 이산화의 강건성과 기계학습 최적화 도구의 유연성을 결합한 프레임워크를 개발하기 위해.
• 기울기 기반 및 뉴턴 유형 최적화 방법을 사용하여 PDE 제약 최적화, 자료 융합, 광학 흐름, 시스템 식별을 효율적으로 해결하기 위해.
• 고전적 해법이 지닌 희소성, 일致성 및 보존 성질을 유지하면서도 고속 수렴률을 달성하기 위해.
• 기후 예측 및 유체역학과 같은 대규모 과학 시뮬레이션에 대해 PINNs의 확장 가능하고 정확하며 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• ODIL 프레임워크는 구조적 격자 위에서 PDE를 이산 잔차의 최소화 문제로 공식화하며, 이산 PDE의 잔차와 초기/경계 조건에 대한 제약 조건을 조합한 손실 함수를 사용한다.
• 손실 함수는 이산 PDE의 제곱 잔차와 알려진 초기 및 경계 값에서의 제곱 편차의 합으로 정의되며, 선택적 정규화 항이 포함될 수 있다.
• 기울기 기반 최적화(L-BFGS-B 등)와 뉴턴 방법이 적용되며, 자동 미분을 통해 기울기를 계산하고 희소 헤시안 근사치를 활용한다.
• 이 방법은 고전적 이산화의 희소성 특성을 그대로 이어받아, 직접 또는 다중 격자 방법과 같은 희소 선형 해법기를 통해 뉴턴 시스템을 효율적으로 해결할 수 있다.
• 프레임워크는 텐서플로우로 구현되어 있으며, 이산 해장의 손실 함수 도함수를 자동 미분을 통해 계산한다.
• 이 방법은 파동 방정식, 이동 방정식, 나비에-스토크스 방정식 등 다양한 PDE에 적용되었으며, 정방향 및 역방향 문제에서의 검증이 이루어졌다.

실험 결과

연구 질문

• RQ1 이산 잔차 최소화 프레임워크가 PDE를 해결하는 데 있어 PINNs보다 계산 효율성과 수렴 속도 면에서 뛰어나게 작용할 수 있는가?
• RQ2 고전적 수치 이산화 성질—희소성, 보존, 안정성—이 기계학습 최적화 프레임워크에서 얼마나 유지될 수 있는가?
• RQ3 초기 또는 최종 조건은 알려져 있으나 지배 장이 알려져 있지 않은 경우, ODIL 프레임워크가 광학 흐름이나 시스템 식별과 같은 역방향 문제를 얼마나 효과적으로 해결할 수 있는가?
• RQ4 이산 잔차 공식화에 뉴턴 방법을 적용할 경우, PINNs에서 밀도 높은 헤시안 행렬이 이를 방해함에도 불구하고 PDE 해법에서 이차 수렴을 달성할 수 있는가?
• RQ5 잘 정의된 문제에 대해 표준 유한차분 또는 유한요소 해법과 비교했을 때, ODIL의 계산 비용과 정확도 간의 상호 교환 관계는 어떠한가?

주요 결과

• ODIL은 PINNs보다 빠른 수렴 속도를 달성하며, 뉴턴 방법은 헤시안의 희소성 덕분에 이차 수렴을 보인다. 반면 PINNs에서는 밀도 높은 헤시안 행렬이 효율적인 뉴턴 최적화를 방해한다.
• ODIL의 평가당 계산 비용은 격점당 일정하지만, PINNs는 네트워크 가중치 수에 비례하여 증가하므로, 대규모 문제에서는 ODIL이 수개월 정도 낮은 비용을 기록한다.
• 알 수 없는 속도장을 가진 이동 방정식에 대해, ODIL은 두 개의 트레이서 스냅샷에서 속도장을 성공적으로 재구성하였으며, 기준 솔루션과 높은 정밀도로 일치시켰다.
• 나비에-스토크스 유동 재구성 문제에서, ODIL은 희소 측정값만을 사용하여 속도장과 압력장을 고정밀도로 복원하였으며, 이는 역방향 문제에서의 강건성을 입증하였다.
• 이 방법은 기반 유한차분 또는 유한요소 방법의 이산 보존 법칙과 안정성 성질을 유지하여 신뢰할 수 있는 수치적 행동을 보장한다.
• 프레임워크는 PDE 제약 최적화, 자료 융합, 시스템 식별 등에 적용 가능하며, 속도와 정확도 면에서 PINN 기준선에 비해 뛰어난 성능을 보였다.