[논문 리뷰] Differentiable Programming for Differential Equations: A Review

Facundo Sapienza, Jordi Bolíbar외 9명|arXiv (Cornell University)|2024. 06. 14.

Optimization and Variational Analysis인용 수 8

한 줄 요약

수치해석 해를 가지는 미분방정식의 해를 미분하는 방법에 대한 포괄적 검토로, 기초, 비교, 그리고 과학 계산에서의 differentiable programming에 대한 실용적 지침을 제시한다.

ABSTRACT

The differentiable programming paradigm is a cornerstone of modern scientific computing. It refers to numerical methods for computing the gradient of a numerical model's output. Many scientific models are based on differential equations, where differentiable programming plays a crucial role in calculating model sensitivities, inverting model parameters, and training hybrid models that combine differential equations with data-driven approaches. Furthermore, recognizing the strong synergies between inverse methods and machine learning offers the opportunity to establish a coherent framework applicable to both fields. Differentiating functions based on the numerical solution of differential equations is non-trivial. Numerous methods based on a wide variety of paradigms have been proposed in the literature, each with pros and cons specific to the type of problem investigated. Here, we provide a comprehensive review of existing techniques to compute derivatives of numerical solutions of differential equations. We first discuss the importance of gradients of solutions of differential equations in a variety of scientific domains. Second, we lay out the mathematical foundations of the various approaches and compare them with each other. Third, we cover the computational considerations and explore the solutions available in modern scientific software. Last but not least, we provide best-practices and recommendations for practitioners. We hope that this work accelerates the fusion of scientific models and data, and fosters a modern approach to scientific modelling.

연구 동기 및 목표

• 해당 분야 전반에서 DE 해의 기울기가 중요한 이유를 설명한다(역문제, 모델 보정, 하이브리드 모델링).
• 수치 DE 해를 미분하는데 사용되는 수학적·알고리즘적 접근법을 조사하고 분류한다.
• DE와 differentiable programming을 위한 계산적 고려사항과 소프트웨어 도구를 평가한다.
• 실무자가 differentiable programming을 워크플로우에 통합하도록 모범 사례를 제시한다.

제안 방법

• 수치 DE 해석기(ODe, PDEs)를 통해 미분하는 접근법의 분류를 제시한다.
• 수학적 기초와 문제 적합성에 따라 방법을 비교한다.
• 현대 과학 소프트웨어와의 통합 및 계산적 측면을 논의한다.
• 실용적 권고와 커뮤니티를 위한 개방과학(Open Science) 가이드라인을 제시한다.

실험 결과

연구 질문

• RQ1 수치 DE 해의 도함수를 얻기 위한 주요 수학적 전략은 무엇인가?
• RQ2 다양한 접근법은 DE 유형(ODE/PDE) 간 적용성, 효율성, 정확도 면에서 어떻게 비교되는가?
• RQ3 과학적 워크플로우에서 DE를 위한 differentiable programming을 구현할 때의 실무적 고려사항은 무엇인가?
• RQ4 데이터 기반 방법과 결합한 DE 모델에서Practitioners가 따라야 할 모범 사례와 개방과학 가이드라인은 무엇인가?

주요 결과

• 미분 가능 프로그래밍은 현대 과학 계산의 중심으로, 모델 민감도, 매개변수 역추정, 하이브리드 모델링을 가능하게 한다.
• 수치 DE 해를 미분하는데 사용되는 기술 집합이 다양하며, 각 기술은 도메인 특유의 트레이드오프를 가진다.
• 원리, 비교, 계산적 고려사항이 제시되어 실무자들에게 도움이 된다.
• 오픈소스 도구 및 오픈과학 실천과의 통합을 통해 모델과 데이터의 융합을 촉진한다.
• 역추정 방법과 머신러닝 간의 시너지가 하나의 프레임워크에 통합될 수 있음을 강조한다.