[논문 리뷰] Learning Neural PDE Solvers with Convergence Guarantees

Jun-Ting Hsieh, Shengjia Zhao외 3명|arXiv (Cornell University)|2019. 06. 04.

Model Reduction and Neural Networks인용 수 56

한 줄 요약

논문은 신경망을 트레이닝하여 기존 선형 PDE 해법기의 업데이트를 수정하고 수렴 보장을 유지하면서 더 빠른 수렴과 기하학 및 경계 조건 전반에 걸친 일반화를 달성한다.

ABSTRACT

Partial differential equations (PDEs) are widely used across the physical and computational sciences. Decades of research and engineering went into designing fast iterative solution methods. Existing solvers are general purpose, but may be sub-optimal for specific classes of problems. In contrast to existing hand-crafted solutions, we propose an approach to learn a fast iterative solver tailored to a specific domain. We achieve this goal by learning to modify the updates of an existing solver using a deep neural network. Crucially, our approach is proven to preserve strong correctness and convergence guarantees. After training on a single geometry, our model generalizes to a wide variety of geometries and boundary conditions, and achieves 2-3 times speedup compared to state-of-the-art solvers.

연구 동기 및 목표

• 기존 선형 해법기에 대한 업데이트를 학습하여 정확성을 보존하면서 더 빠른 도메인 특화 PDE 솔버를 제시한다.
• 고정점 보전을 통해 참 PDE 해로의 수렴을 보장한다.
• 单一 인스턴스 학습에도 불구하고 학습되지 않은 기하학, 경계 조건 및 격자 크기에 일반화가 가능함을 보인다.

제안 방법

• 학습된 솔버를 베이스라인 이터레이터에 대한 매개변수화된 업데이트로 표현: u' = Ψ(u; G, f, b, n) + G H (Ψ(u; G, f, b, n) - u), 여기서 H는 컨볼루션 신경망으로 구현된 학습된 선형 연산자이다.
• 선형(Jacobi 유사) 베이스라인 Ψ를 사용하고 설계상 고정점이 해로 남도록 보장한다(정리 1).
• H를 선형 심층 네트워크(Conv 또는 U‑Net 아키텍처)로 매개변수화하여 T(I−T)−1를 근사해 수렴을 가속화한다(정리 2 및 3.3절의 해석).
• 단일 기하학/문제 인스턴스에서 학습하되 서로 다른 기하학 및 경계 조건에 대한 일반화를 평가한다(정리 2).
• 두 가지 모델 계열을 제공한다: Conv 모델(3×3 컨볼루션) 및 다중 해상도 보정을 포착하는 U‑Net 기반 멀티그리드 모델.

실험 결과

연구 질문

• RQ1 학습된 선형 보정이 표준 반복 PDE 해법의 올바른 고정점으로 수렴을 보존할 수 있는가?
• RQ2 학습된 보정이 학습 중 보지 못한 다양한 기하학, 경계 조건, 격자 크기에 대해 수렴을 가속화하는가?
• RQ3 컨볼루션 기반과 U‑Net 기반 선형 네트워크가 수렴 가속화를 위한 최적 연산자를 얼마나 잘 근사하는가?
• RQ4 학습된 솔버의 수렴 및 일반화 특성에 대한 이론적 보장은 무엇인가?

주요 결과

• 학습된 이터레이터 Φ_H는 베이스라인 Ψ의 고정점을 보존하여 정확성을 보장한다(렘마 1).
• Φ_H의 스펙트럴 노름은 H의 볼록 함수이며, ρ(Φ_H) < 1을 초래하는 H의 집합은 볼록 오픈 집합이다(정리 2).
• 단일 도메인에서의 학습이 보지 못한 기하학 및 격자 크기에 대해 수렴 및 속도 향상을 이끌 수 있다(정리 2).
• 정사각형, L-형, 원통 도메인 및 f ≠ 0인 Square-Poisson에서 Jacobi 및 Multigrid 기준선보다 현저한 속도 향상이 확인된다.
• CPU에서 Conv3 모델은 Jacobi에 비해 레이어/연산 수가 0.219–0.220배, 곱셈-덧셈 수가 0.424–0.426배에 해당하며, Conv3은 약 5배 더 빠르고 연산은 약 2.5배 더 빠르다.
• U‑Net 모델은 모든 테스트 설정에서 해당 Multigrid 기준선보다 우수하며, 추가 GPU 가속으로 CPU 기준선 대비 최대 약 30배의 속도 향상을 제공한다.