[논문 리뷰] Deep learning of dynamics and signal-noise decomposition with time-stepping constraints

Samuel Rudy, Nathan Kutz외 1명|arXiv (Cornell University)|2018. 08. 07.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 룬게쿠타 시간스텝 구조 내에 신경망을 통합함으로써 동적 시스템의 역학과 측정 노이즈를 동시에 학습하는 딥러닝 프레임워크를 제안한다. 시간적 통합 제약 조건을 적용함으로써, 제한된, 노이즈가 섞인, 또는 비균일하게 샘플링된 데이터에서도 정확하게 진짜 벡터장(벡터 필드)을 재구성할 수 있으며, 기존 방법에 비해 강건성과 예측 정확도가 크게 향상된다.

ABSTRACT

A critical challenge in the data-driven modeling of dynamical systems is producing methods robust to measurement error, particularly when data is limited. Many leading methods either rely on denoising prior to learning or on access to large volumes of data to average over the effect of noise. We propose a novel paradigm for data-driven modeling that simultaneously learns the dynamics and estimates the measurement noise at each observation. By constraining our learning algorithm, our method explicitly accounts for measurement error in the map between observations, treating both the measurement error and the dynamics as unknowns to be identified, rather than assuming idealized noiseless trajectories. We model the unknown vector field using a deep neural network, imposing a Runge-Kutta integrator structure to isolate this vector field, even when the data has a non-uniform timestep, thus constraining and focusing the modeling effort. We demonstrate the ability of this framework to form predictive models on a variety of canonical test problems of increasing complexity and show that it is robust to substantial amounts of measurement error. We also discuss issues with the generalizability of neural network models for dynamical systems and provide open-source code for all examples.

연구 동기 및 목표

• 측정값이 노이즈에 오염되고 데이터가 제한적인 상황에서 데이터 기반의 동적 시스템 모델링 문제를 해결하기 위해.
• 사전 노이즈 제거나 대규모 데이터셋이 필요 없이, 동역학의 기저 구조와 측정 노이즈를 동시에 학습하는 프레임워크를 개발하기 위해.
• 신경망을 룬게쿠타 시간적분기구 구조에 통합함으로써 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 비균일하게 샘플링된 데이터나 희소한 데이터에서조차도 정확한 예측 및 벡터장 재구성 가능하게 하기 위해.
• 물리적 제약 조건을 통합한 딥러닝을 활용한 시스템 식별을 위한 유연하고 해석 가능하며 재현 가능한 접근법을 제공하기 위해.

제안 방법

• 연속적인 동적 시스템의 알려지지 않은 벡터장을 표현하기 위해 딥 뉴럴 네트워크를 사용한다.
• 클래식한 룬게쿠타 시간적분기법 내에 네트워크를 통합하여 물리적 일관성을 확보하고 노이즈에서 벡터장을 분리한다.
• 학습 과정에서 벡터장과 측정 노이즈를 모두 알려지지 않은 변수로 간주하여 식별한다.
• 비균일한 시간스텝에서도 예측된 궤적의 수치적 통합 방식을 준수하기 위해 시간스텝 제약 조건을 적용한다.
• 손실 함수는 예측된 상태와 관측된 상태 간의 차이를 최소화하면서 측정 과정의 노이즈를 고려한다.
• 비균일하게 간격이 떨어진 데이터를 지원하며, 단일 장시간 궤적 또는 다수의 짧은 궤적(순순변화 포함)으로도 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 사전 노이즈 제거 없이도 딥러닝 모델이 동적 시스템의 진짜 역학과 측정 노이즈를 동시에 학습할 수 있는가?
• RQ2 룬게쿠타 시간스텝 구조를 강제 적용함으로써 노이즈와 데이터 희소성에 대한 강건성이 어떻게 향상되는가?
• RQ3 단일 궤적의 순순변화를 고려할 때, 다수의 짧은 궤적에 비해 벡터장 재구성 정확도는 어느 정도 향상되는가?
• RQ4 훈련 데이터로 잘 커버되지 않은 상태공간 영역으로의 일반화 능력은 어떻게 되는가?
• RQ5 고노이즈 조건에서 예측 및 시스템 식별 성능를 높이기 위해 이 제약 조건이 부여된 학습 접근법이 표준 신경망 모델을 능가할 수 있는가?

주요 결과

• 5%의 측정 노이즈 조건에서도 정확한 벡터장 재구성을 달성하였으며, 단일 장시간 궤적으로만 훈련된 모델보다 유의미하게 뛰어난 성능을 보였다.
• 순순변화를 포함한 다수의 짧은 궤적에서 훈련한 모델은 단일 장시간 궤적에서 훈련한 모델보다 더 정확하고 일반화 능력이 뛰어나, 특히 안착점(아트랙터)에서 떨어진 영역에서 두드러진 성능 향상을 보였다.
• 모델은 측정 노이즈를 진짜 역학에서 정확히 분리하여, 고노이즈 수준에서도 강건한 예측이 가능했다.
• 다양한 아키텍처를 가진 신경망은 유체 흐름 예제에서 모두 정확한 한계 사이클에 수렴하지만, 기저의 반지름 대칭성을 회복하지 못하여 단일 궤적에서의 일반화 능력에 한계가 있음을 시사했다.
• 제약 조건이 부여된 학습 프레임워크는 희소하고 노이즈가 많은 데이터로부터 신뢰할 수 있는 시스템 식별을 가능하게 하였으며, 표준 블랙박스 모델보다 성능이 향상되었다.
• 오픈소스 코드(RKNN)는 재현 가능성을 보장하고 향후 데이터 기반 시스템 식별 연구를 촉진한다.