[논문 리뷰] RODE-Net: Learning Ordinary Differential Equations with Randomness from Data

Junyu Liu, Zichao Long외 3명|arXiv (Cornell University)|2020. 06. 03.

Model Reduction and Neural Networks참고 문헌 27인용 수 4

한 줄 요약

RODE-Net은 기호 신경망(SymNet)을 사용해 데이터에서 미분방정식(ODE)의 기호적 형태와 랜덤 매개변수의 분포를 동시에 학습하는 딥러닝 프레임워크이며, 생성적 적대적 네트워크(GAN)를 데이터 기반 정규화 기법으로 활용하여 매개변수 추정의 정확도를 향상시킨다. 기존의 ℓ₁ 정규화 방법에 비해 ODE의 구조 복원 및 매개변수 분포 추정에서 뛰어난 정확도를 달성한다.

ABSTRACT

Random ordinary differential equations (RODEs), i.e. ODEs with random parameters, are often used to model complex dynamics. Most existing methods to identify unknown governing RODEs from observed data often rely on strong prior knowledge. Extracting the governing equations from data with less prior knowledge remains a great challenge. In this paper, we propose a deep neural network, called RODE-Net, to tackle such challenge by fitting a symbolic expression of the differential equation and the distribution of parameters simultaneously. To train the RODE-Net, we first estimate the parameters of the unknown RODE using the symbolic networks \cite{long2019pde} by solving a set of deterministic inverse problems based on the measured data, and use a generative adversarial network (GAN) to estimate the true distribution of the RODE's parameters. Then, we use the trained GAN as a regularization to further improve the estimation of the ODE's parameters. The two steps are operated alternatively. Numerical results show that the proposed RODE-Net can well estimate the distribution of model parameters using simulated data and can make reliable predictions. It is worth noting that, GAN serves as a data driven regularization in RODE-Net and is more effective than the $\ell_1$ based regularization that is often used in system identifications.

연구 동기 및 목표

• 기본 방정식의 구조에 대한 사전 지식이 거의 없는 상황에서 데이터로부터 랜덤 미분방정식(RODE)을 식별하는 데 도전하는 것.
• ODE의 기호적 형태와 그 랜덤 매개변수의 확률 분포를 동시에 추정하는 것.
• 고차원 역문제에서 기존 정규화 기법(예: ℓ₁)의 한계를 극복하기 위해 데이터 기반 GAN 기반 정규화를 도입하는 것.
• 진짜 RODE가 생성한 데이터의 통계적 행동을 잘 반영하는 신뢰할 수 있는 확률적 궤적을 시뮬레이션할 수 있도록 하는 것.

제안 방법

• RODE-Net은 데이터에서 ODE의 구조를 복원하기 위해 기호 신경망(SymNet)을 사용해 기호적 시스템 식별을 수행한다.
• 별도의 GAN을 학습시켜 관측된 데이터 샘플을 기반으로 ODE의 랜덤 매개변수의 진짜 분포를 추정한다.
• ODE 매개변수 추정 과정 중에 GAN이 데이터 기반 정규화 기법으로 작용하여 일반화 능력과 강인성을 향상시킨다.
• 학습 과정에서 결정론적 역문제를 통한 ODE 매개변수 추정과 GAN 기반 매개변수 분포 개선을 번갈아 수행한다.
• SymNet의 높은 표현 능력을 활용해 ODE 형태에 대한 사전 가정에 의존도를 최소화한다.
• GAN 정규화를 적용해 예측 오차를 줄이고 추정된 ODE 계수의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 한정된 데이터에서 딥러닝 프레임워크가 ODE의 기호적 형태와 그 랜덤 매개변수의 분포를 동시에 학습시킬 수 있는가?
• RQ2 역 ODE 문제에서 GAN 기반 정규화는 기존의 ℓ₁ 정규화에 비해 정확도와 강인성 측면에서 어떻게 비교되는가?
• RQ3 최소한의 사전 지식으로 RODE-Net이 진짜 ODE의 구조와 매개변수 분포를 얼마나 잘 복원할 수 있는가?
• RQ4 정규화 기법으로 GAN을 사용할 경우 ODE 매개변수 추정의 일반화 능력과 예측 정확도가 향상되는가?

주요 결과

• RODE-Net은 GAN 정규화 없이 학습된 ODE-Nets에 비해 예측 오차를 크게 감소시켰으며, 개별 ODE 사례에서 뚜렷한 향상이 관찰되었다.
• 500개의 ODE 인스턴스에 걸쳐 ODE 계수 추정 오차의 평균과 표준편차는 RODE-Net에서 각각 2.122와 3.372였고, GAN이 없는 ODE-Nets의 경우 2.093와 3.352였으며, 이는 일관된 개선을 의미한다.
• 예를 들어 $x_1x_2$, $x_2$와 같은 주요 ODE 항의 추정 계수는 GAN 정규화를 사용했을 때 진짜 값에 더 가까웠으며, 계수 비교 표에서 이를 확인할 수 있었다.
• GAN 기반 정규화는 특히 후반 시간대(t=40, 50)에서 예측 오차의 히스토GRAM이 진짜 분포와 더 잘 일치시켰다.
• RODE-Net은 진짜 RODE가 생성한 데이터와 통계적으로 유사한 궤적을 성공적으로 시뮬레이션하여 효과적인 분포 학습을 입증했다.
• 고차원 매개변수 공간에서 ℓ₁ 정규화보다 RODE-Net이 뛰어난 성능을 보였으며, 이는 GAN이 복잡한 역문제에 더 효과적임을 시사한다.