[논문 리뷰] Neural Laplace: Learning diverse classes of differential equations in the Laplace domain

Samuel Holt, Zhaozhi Qian외 1명|arXiv (Cornell University)|2022. 06. 10.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

Neural Laplace는 뉴럴 네트워크를 사용해 라플라스 도메인에서의 해를 학습함으로써, ODE, DDE, IDE, 강성 있는 시스템 및 강제력이 작용하는 ODE를 포함한 다양한 미분방정식을 통합적으로 모델링하는 딥러닝 프레임워크를 제안한다. 역라플라스 변환과 복소 라플라스 도메인을 압축하는 스테레오그래픽 투영을 활용함으로써, 역사 의존성, 비연속성, 강성 등이 있는 시스템의 정확하고 안정적이며 효율적인 모델링과 외삽이 가능해지며, 표준 뉴럴 ODE보다 정확도와 추론 속도에서 뛰어난 성능을 보인다.

ABSTRACT

Neural Ordinary Differential Equations model dynamical systems with ODEs learned by neural networks. However, ODEs are fundamentally inadequate to model systems with long-range dependencies or discontinuities, which are common in engineering and biological systems. Broader classes of differential equations (DE) have been proposed as remedies, including delay differential equations and integro-differential equations. Furthermore, Neural ODE suffers from numerical instability when modelling stiff ODEs and ODEs with piecewise forcing functions. In this work, we propose Neural Laplace, a unified framework for learning diverse classes of DEs including all the aforementioned ones. Instead of modelling the dynamics in the time domain, we model it in the Laplace domain, where the history-dependencies and discontinuities in time can be represented as summations of complex exponentials. To make learning more efficient, we use the geometrical stereographic map of a Riemann sphere to induce more smoothness in the Laplace domain. In the experiments, Neural Laplace shows superior performance in modelling and extrapolating the trajectories of diverse classes of DEs, including the ones with complex history dependency and abrupt changes.

연구 동기 및 목표

• 장기적 의존성, 비연속성, 강성 등이 있는 시스템을 모델링하는 데 있어 뉴럴 ODE의 한계를 해결하기 위해.
• ODE, DDE, IDE, 강성/강제력이 작용하는 ODE 등 다양한 미분방정식 클래스를 하나의 딥러닝 프레임워크로 통합 모델링하기 위해.
• 국소적인 수치적 ODE 해법기를 피하고 전역적 역라플라스 변환을 통해 학습 및 추론 효율성을 향상시키기 위해.
• 복소 평면을 콤팩트한 리만 구로 매핑하는 스테레오그래픽 투영을 사용해 라플라스 도메인에서의 학습 안정성을 향상시키기 위해.
• 사전에 ODE, DDE, IDE의 구조를 지정하지 않고도 데이터 기반으로 암묵적으로 기저의 미분방정식 클래스를 식별할 수 있도록 하기 위해.

제안 방법

• 프레임워크는 초기 조건을 p ∈ ℝ^K로 인코딩한 후, 복소 변수 s를 입력으로 받는 뉴럴 네트워크 gβ를 사용해 시스템 해의 라플라스 변환 F(s)를 모델링한다.
• 복소 라플라스 변수 s ∈ ℂ를 압축된 리만 구로 매핑하기 위해 스테레오그래픽 투영을 적용함으로써, 무한대에서의 특이성을 제거하고 학습을 위한 기하학적 스무쓰함을 향상시킨다.
• 시간 도메인 해 x(t)는 수치적 ODE 해법기를 피하고 복소 지수 함수의 전역 합을 사용해 역라플라스 변환을 통해 재구성된다.
• 예측된 궤적과 진짜 궤적 간의 평균 제곱오차를 최소화하도록 엔드 투 엔드로 모델을 훈련시킨다.
• 학습된 F(s)의 구조를 통해 지연, 적분, 조각별 강제력 등의 다양한 역학을 암묵적으로 포착한다.
• 반복적인 ODE 해법 없이도 임의의 미래 시간 t에서 역라플라스 변환을 평가함으로써 외삽을 지원한다.

실험 결과

연구 질문

• RQ1 단일 뉴럴 네트워크 아키텍처가 ODE, DDE, IDE, 강성/강제력이 작용하는 ODE 등 다양한 종류의 미분방정식 클래스를 효과적으로 학습하고 일반화할 수 있는가?
• RQ2 스테레오그래픽 투영을 사용해 라플라스 도메인에서 학습하는 것이 시간 도메인 학습보다 학습 안정성과 일반화 능력을 향상시키는가?
• RQ3 비연속적인 도함수 변화가 있는 시스템을 정확하게 모델링할 수 있는가? 이러한 시스템은 부드러운 뉴럴 ODE로는 잘 포착되지 않는다.
• RQ4 외삽 시 함수 평가 횟수(NFE) 측면에서 Neural Laplace의 추론 효율성은 표준 뉴럴 ODE보다 어떻게 비교되는가?
• RQ5 초기 조건 임bedding의 차원 K를 선택할 때의 영향은 모델 성능에 얼마나 큰가?

주요 결과

• 스테레오그래픽 투영을 사용할 경우, 기준 모델 대비 테스트 RMSE가 한 계단 낮아져, 라플라스 도메인 학습의 안정화에 효과적임을 입증한다.
• 표준 뉴럴 ODE와 잠재 ODE는 강성 ODE의 도함수 비연속성과 주기적 행동을 포착하지 못하지만, Neural Laplace는 이를 성공적으로 포착한다.
• Neural Laplace는 임의의 미래 시간점에서 해를 평가하기 위해 단 한 번의 전방 계산만 필요하며, ODE 기반 방법은 시간이 증가함에 따라 성능이 급격히 떨어지며, 100초 간 외삽 시 최대 1000배 적은 NFE를 사용한다.
• 각 에포크당 훈련 속도가 ODE 기반 기준 모델보다 최소 한 계단 빠르며, 수렴 속도는 유사하거나 더 빠르다.
• 임bedding 차원 K의 선택에 대해 성능이 뚜렷하게 민감하지 않으며, K ≥ 2일 경우 안정적인 결과를 보이며, 이는 이 하이퍼파ram터에 대한 낮은 민감도를 시사한다.
• 프레임워크는 ODE, DDE, IDE의 구조를 사전 지정하지 않고도 데이터로부터 암묵적으로 올바른 미분방정식 클래스를 학습한다.