[논문 리뷰] Learning Dynamics from Noisy Measurements using Deep Learning with a Runge-Kutta Constraint

Pawan Goyal, Peter Benner|arXiv (Cornell University)|2021. 09. 23.

Model Reduction and Neural Networks참고 문헌 55인용 수 6

한 줄 요약

이 논문은 높은 노이즈 수준(최대 20%)과 비균일한 샘플링 조건에서도 복잡한 혼돈 역학을 포함한 동역학계를 정확하게 재구성할 수 있도록, 네트워크 두 개(일반화된 데이터 표현을 위한 것과 벡터장 학습을 위한 것)와 함께 4차 룬게-쿠타 수치적 적분 기법을 통합한 딥러닝 프레임워크를 제안한다. 이 방법은 노이즈가 심한 희박한 측정치로부터 데이터를 효과적으로 노이즈 제거하고 정확한 벡터장을 학습할 수 있으며, 쿠라모토-시바시니 방정식과 같은 복잡한 혼돈 역학 시스템에서 기존 표준 방법들을 능가한다.

ABSTRACT

Measurement noise is an integral part while collecting data of a physical process. Thus, noise removal is a necessary step to draw conclusions from these data, and it often becomes quite essential to construct dynamical models using these data. We discuss a methodology to learn differential equation(s) using noisy and sparsely sampled measurements. In our methodology, the main innovation can be seen in of integration of deep neural networks with a classical numerical integration method. Precisely, we aim at learning a neural network that implicitly represents the data and an additional neural network that models the vector fields of the dependent variables. We combine these two networks by enforcing the constraint that the data at the next time-steps can be given by following a numerical integration scheme such as the fourth-order Runge-Kutta scheme. The proposed framework to learn a model predicting the vector field is highly effective under noisy measurements. The approach can handle scenarios where dependent variables are not available at the same temporal grid. We demonstrate the effectiveness of the proposed method to learning models using data obtained from various differential equations. The proposed approach provides a promising methodology to learn dynamic models, where the first-principle understanding remains opaque.

연구 동기 및 목표

• 매우 노이즈가 많고 희박하게 샘플링된 측정치로부터 정확한 동역학 모델을 학습하는 데이터 기반 방법을 개발하는 것.
• 기본 원리 방정식이 알려져 있거나 해석이 불가능한 복잡한 비선형 역학을 모델링하는 과제를 해결하는 것.
• 수치적 적분(Runge-Kutta)을 딥러닝 프레임워크에 직접 통합하여 물리적 일관성을 확보하고 노이즈에 대한 강건성을 향상시키는 것.
• 보간 또는 정렬이 필요 없이 임의의 비균일 시간 및 공간 그리드에서 수집된 데이터로부터 학습할 수 있도록 하는 것.
• 신경망과 고전적 수치적 방법을 융합한 확장 가능한, 미분 가능한 프레임워크를 제공하여 동역학계 식별을 가능하게 하는 것.

제안 방법

• 노이즈가 있는 측정치 데이터의 은닉 표현을 위한, 그리고 동역학계의 벡터장을 학습하기 위한 두 개의 별도 딥러닝 신경망을 훈련한다.
• 벡터장 네트워크의 예측이 4차 룬게-쿠타 시간 스텝 방식을 충족하도록 제약을 둔다. 이는 수치적 일관성을 보장한다.
• 손실 함수는 다음 시간 단계에서의 예측 상태가 벡터장 추정치를 사용한 룬게-쿠타 업데이트와 일치하도록 강제한다.
• 프레임워크는 먼저 측정치의 연속적인 은닉 표현을 학습한 후 룬게-쿠타 적분 제약을 적용함으로써 비균일하게 샘플링된 데이터를 처리한다.
• 편미분방정식(PDE)에서 공간 분포가 있는 벡터장을 모델링하기 위해 컨volutional 신경망(CNN)을 사용한다. 예를 들어 버거스 방정식과 쿠라모토-시바시니 방정식에 적용된다.
• 이 방법은 노이즈 추정이나 신호 분해을 명시적으로 요구하지 않으며, 대신 통합 제약과 신경망 훈련을 통해 자연스럽게 노이즈 감쇠가 발생한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크는 매우 노이즈가 많고 희박하게 샘플링된 시계열 데이터로부터 시스템의 근본적인 역학을 효과적으로 학습할 수 있는가?
• RQ2 특히 높은 노이즈 수준에서, 룬게-쿠타 적분 제약 조건 하에 훈련된 신경망 기반의 벡터장 추정기가 얼마나 잘 성능을 내는가?
• RQ3 제안된 방법은 쿠라모토-시바시니 방정식과 같은 혼돈 시스템에서 세밀한 특징과 일시적인 행동을 어느 정도 재구성할 수 있는가?
• RQ4 보간 또는 정렬이 필요 없이, 임의의 비균일한 시간 및 공간 점에서 수집된 데이터를 처리할 수 있는가?
• RQ5 수치적 적분 기법(Runge-Kutta)을 강제 적용함으로써, 표준 블랙박스 신경망 시간 스텝 방법에 비해 일반화 성능과 강건성이 향상되는가?

주요 결과

• 제안된 방법은 최대 20% 노이즈가 있는 버거스 방정식의 시공간 데이터를 효과적으로 노이즈 제거하여 원래의 역학을 높은 정밀도로 복원했다.
• 20% 노이즈 조건에서도 컨volutional 신경망이 추정한 벡터장은 정제된 데이터에서 유한차분으로 계산한 진짜 벡터장과 매우 유사하게 일치했다.
• 혼돈적인 쿠라모토-시바시니 방정식의 경우, 20% 노이즈로 심각하게 손상된 미세한 역학적 특징과 소규모 구조를 복원했다.
• 비균일한 시간 및 공간 그리드에서 수집된 데이터에 대해 프레임워크는 사전 처리 없이도 강건하게 작동함을 입증했다.
• 룬게-쿠타 제약 조건을 통합함으로써, 특히 노이즈가 많은 환경에서 표준 신경망 시간 스텝 방법에 비해 모델 정확도와 안정성이 크게 향상되었다.
• 노이즈 모델링이나 신호 분해를 명시적으로 요구하지 않으며, 대신 수치적 방법이 강제하는 물리적 일관성에 기반하여 정확한 재구성과 벡터장 추정을 달성했다.