[논문 리뷰] Universal Differential Equations for Scientific Machine Learning

Christopher Rackauckas, Yingbo Ma외 7명|arXiv (Cornell University)|2020. 01. 13.

Model Reduction and Neural Networks인용 수 69

한 줄 요약

범용 미분방정식(UDE)을 SciML 생태계 내에 도입하여 물리 지식과 데이터 기반 학습을 결합하고, 기계 학습에서의 안정한 훈련과 심볼릭 회귀에서 고차원 PDE에 이르는 광범위한 응용을 가능하게 한다.

ABSTRACT

In the context of science, the well-known adage "a picture is worth a thousand words" might well be "a model is worth a thousand datasets." In this manuscript we introduce the SciML software ecosystem as a tool for mixing the information of physical laws and scientific models with data-driven machine learning approaches. We describe a mathematical object, which we denote universal differential equations (UDEs), as the unifying framework connecting the ecosystem. We show how a wide variety of applications, from automatically discovering biological mechanisms to solving high-dimensional Hamilton-Jacobi-Bellman equations, can be phrased and efficiently handled through the UDE formalism and its tooling. We demonstrate the generality of the software tooling to handle stochasticity, delays, and implicit constraints. This funnels the wide variety of SciML applications into a core set of training mechanisms which are highly optimized, stabilized for stiff equations, and compatible with distributed parallelism and GPU accelerators.

연구 동기 및 목표

• mechanistic 물리 모델과 데이터 기반 학습을 조합하여 데이터 효율성과 예측력을 향상시키려는 동기 부여.
• UDE 형식을 보편적 근사자(예: 신경망)와 함께 내재화된 미분방정식으로 정의하여 미지의 역학을 포착하는 통합 프레임워크로 제시.
• SciML 도구를 통해 효율적인 학습, 애조인트 방법, 다양한 문제 클래스에 걸친 확장 가능한 계산을 가능하게 하는 방법을 보여준다.
• 모델 발견, 고차원 PDE, 학습된 폐쇄 관계를 포함한 다양한 응용 사례를 시연한다.
• 과학 기계 학습을 위한 SciML 생태계의 성능, 안정성, 유연성 이점을 강조한다.

제안 방법

• 범용 미분방정식(UDE)을 미지의 역학을 포착하기 위해 보편적 근사자(예: 신경망)가 내재화된 미분방정식으로 정의한다.
• 효율적인 해석기, 애조인트, 신경망 통합을 위한 SciML 스택: DifferentialEquations.jl, DiffEqSensitivity.jl, DiffEqFlux.jl 를 설명한다.
• 연속 및 이산 애조인트 민감도 분석의 역할과 UDE의 그래디언트 기반 학습에서의 역할을 설명한다.
• UDE와 함께 지식 강화형 모델 발견을 위한 심볼릭 회귀 및 데이터 기반 학습의 결합 방법(SINDy 유사 접근법 포함)을 보여준다.
• 확률 지연, DAE, 고차원 PDE에 대한 UDE의 구성 예를 제시하고, 구체적 사용 사례(롯카-볼테라, 피셔-KPP, 부시네스-폐쇄, 100차원 HJB)로 시연한다.

실험 결과

연구 질문

• RQ1 일반화된 UDE 프레임워크가 물리 법칙과 데이터 기반 구성 요소를 통합하여 견고한 과학적 학습을 구현하는 방법은 무엇인가?
• RQ2 강성, 확률적, 지연 시스템 전반에서 안정적이고 확장 가능한 UDE 학습을 가능하게 하는 애조인트/민감도 전략은 무엇인가?
• RQ3 도메인 지식을 주입하여 데이터 요구를 줄이고 심볼릭 회귀와 모델 발견을 향상시킬 수 있는가?
• RQ4 고차원 PDE 및 다물리 문제(예: 부시네스-, FENE-P)에 UDE를 적용하여 가속화와 정확성을 달성할 수 있는가?
• RQ5 일부 ML-DE 라이브러리 대비 SciML 생태계의 실용적 성능 이점은 어떤 문제 클래스에서 어떠한 수준인가?

주요 결과

• SciML 생태계는 강성 ODE/DAE, SDE, DDE를 지원하며 분산 및 GPU 기반 계산으로 안정화된 애조인트를 제공합니다.
• DifferentialEquations.jl, DiffEqSensitivity.jl, DiffEqFlux.jl에서의 애조인트 기반 학습은 대규모 UDE에 대한 효율적인 그래디언트 계산을 가능하게 하며, 종종 유사 라이브러리보다 우수합니다.
• UDE를 활용한 지식 강화 심볼릭 회귀는 데이터 효율성과 기본 방정식의 회복성을 향상시키며(예: Lotka–Volterra), 표준 SINDy 접근법보다 우수합니다.
• 고차원 PDE를 USDE 또는 UPDE로 구성하여 전통적인 방법으로는 도전적이었던 적응적이고 고차원적이며 안정적인 해를 가능하게 합니다.
• UDE를 통해 학습된 자동 폐쇄 관계가 시뮬레이션을 크게 가속화하여 특정 부시네스- 기반 맥락에서 약 15,000배 가속 및 비뉴턴류 유체의 비선형 폐쇄 개선 등의 효과를 보입니다.
• SciML 도구는 대표적인 과학 시스템에서 일부 ML-DE 기준보다 상당한 성능 향상을 얻을 수 있습니다.