[논문 리뷰] Learning differentiable solvers for systems with hard constraints

Geoffrey Négiar, Michael W. Mahoney외 1명|arXiv (Cornell University)|2022. 07. 18.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 암시적 미분을 통해 PDE 제약 최적화 문제를 해결함으로써 신경망에 경직된 물리적 제약 조건을 강제하는 미분 가능 PDE 제약 계층(PDE-CL)을 제안한다. 이 방법은 PDE 매개변수에서 해로의 사상 함수 기저를 학습함으로써 훈련 중 해의 데이터가 없더라도 정확하고 연속적인 해를 얻을 수 있으며, 소프트 제약 기반의 기준 모델보다 더 낮은 테스트 오차와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

We introduce a practical method to enforce partial differential equation (PDE) constraints for functions defined by neural networks (NNs), with a high degree of accuracy and up to a desired tolerance. We develop a differentiable PDE-constrained layer that can be incorporated into any NN architecture. Our method leverages differentiable optimization and the implicit function theorem to effectively enforce physical constraints. Inspired by dictionary learning, our model learns a family of functions, each of which defines a mapping from PDE parameters to PDE solutions. At inference time, the model finds an optimal linear combination of the functions in the learned family by solving a PDE-constrained optimization problem. Our method provides continuous solutions over the domain of interest that accurately satisfy desired physical constraints. Our results show that incorporating hard constraints directly into the NN architecture achieves much lower test error when compared to training on an unconstrained objective.

연구 동기 및 목표

• 해의 데이터가 없이 PDE를 훈련하는 데서 정확한 물리적 제약 조건을 강제하는 문제를 해결하기 위해.
• 기울기 불균형, 불량 조건 문제, 물리 법칙의 근사적 강제와 같은 소프트 제약 기반 방법의 한계를 극복하기 위해.
• PDE 해가 경직된 제약 조건을 만족하도록 보장하면서도 엔드 투 엔드 훈련이 가능한 미분 가능 계층을 개발하기 위해.
• PDE의 구조와 경계/초기 조건만을 사용하여 훈련 중 해의 데이터에 접근하지 못한 경우에도 일반화된 예측을 정확하게 수행할 수 있도록 하기 위해.
• 속도와 정확도 사이의 균형을 조절할 수 있는 조정 가능한 초모수를 통해 과학적 머신 러닝에 적합한 방법을 제공하기 위해.

제안 방법

• 이 방법은 미분 가능 최적화를 사용하여 PDE 제약 최적화 문제를 해결함으로써 PDE 매개변수에서 해로의 사상을 맺는 PDE 제약 계층(PDE-CL)을 도입한다.
• 해의 PDE 제약 최적화 문제를 푸는 데 있어 암시 함수 정리를 활용하여, PDE 해를 통해 기울기를 계산함으로써 역전파를 가능하게 한다.
• 각각 PDE 매개변수에서 해로의 사상 함수를 나타내는 기저 함수의 가족을 사전 학습 기반 훈련을 통해 학습한다.
• 추론 단계에서는 PDE 제약 최적화 문제를 풀어 학습된 기저 함수들의 최적의 선형 조합을 계산한다.
• 이 방법은 PDE 잔차를 최소화하면서 경계 조건과 초기 조건을 정확히 강제하는 손실 함수를 사용한다.
• 이 방법은 임의의 신경망 아키텍처를 지원하며, 소수의 샘플링된 점들에서 훈련된 후 고해상도 해 평가가 가능하다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화와 호환되면서도 경직된 PDE 제약 조건을 강제할 수 있는 미분 가능 신경망 계층을 설계할 수 있는가?
• RQ2 PDE 제약 계층을 통해 경직된 제약 조건을 강제하는 방법이 소프트 제약 기반 방법과 비교해 수렴 속도와 해의 정확도 측면에서 어떻게 다른가?
• RQ3 훈련 중 해의 데이터에 접근하지 못한 상황에서도 모델이 새로운 PDE 매개변수로 일반화할 수 있는가?
• RQ4 급격한 특징이나 비선형 역학을 가진 문제에서 이 방법이 해의 정밀도를 얼마나 향상시키는가?
• RQ5 속도와 정확도 사이의 균형을 조절하는 초모수들이 다양한 PDE 유형에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 경직된 제약 조건을 가진 모델은 5,000회 미만의 훈련 스텝 후 1D Burgers’ 문제에서 상대 오차 1.11% ± 0.11%를 달성하여 소프트 제약 기반 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 소프트 제약 기반 기준 모델은 동일한 정확도에 도달하기 위해 100배 더 많은 훈련 스텝(100×)이 필요했으며, 상대 오차는 4.34% ± 0.33%였다.
• 경직된 제약 조건을 가진 모델은 해마프 시각 비교를 통해 소프트 제약 기반 모델보다 날카로운 특징을 더 정확하게 포착했다.
• 모든 세 가지 테스트 문제(2D Darcy Flow, 1D Burgers’, 1D 대류)에서 PDE 잔차 오차가 낮고 수렴 속도가 더 빠른 것으로 나타났다.
• 모델은 소수의 샘플링된 점들에서 훈련된 후 고해상도 그리드에서도 정확한 해를 도출했으며, 효율적인 추론을 보였다.
• 실험 결과는 경직된 제약 조건을 강제할 경우 페널티 기반의 소프트 제약 조건보다 더 우수한 일반화 성능과 더 물리적으로 일관된 해를 얻을 수 있음을 보여주었다.