[논문 리뷰] Latent Dynamics Networks (LDNets): learning the intrinsic dynamics of spatio-temporal processes

Francesco Regazzoni, Stefano Pagani외 3명|arXiv (Cornell University)|2023. 04. 28.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 고차원 임bedding이나 사전 정의된 격자에 의존하지 않고 시공간 시스템의 저차원 내재 동역학을 학습하는 데이터 기반 프레임워크인 잠재 동역학 네트워크(LDNets)를 소개한다. ODE-Net 또는 LSTM을 통해 잠재 다각형을 함께 발견하고 동역학을 모델링함으로써 LDNets는 10배 적은 파라미터와 5배 낮은 정규화 오차로 도전적인 비선형 문제에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Predicting the evolution of systems that exhibit spatio-temporal dynamics in response to external stimuli is a key enabling technology fostering scientific innovation. Traditional equations-based approaches leverage first principles to yield predictions through the numerical approximation of high-dimensional systems of differential equations, thus calling for large-scale parallel computing platforms and requiring large computational costs. Data-driven approaches, instead, enable the description of systems evolution in low-dimensional latent spaces, by leveraging dimensionality reduction and deep learning algorithms. We propose a novel architecture, named Latent Dynamics Network (LDNet), which is able to discover low-dimensional intrinsic dynamics of possibly non-Markovian dynamical systems, thus predicting the time evolution of space-dependent fields in response to external inputs. Unlike popular approaches, in which the latent representation of the solution manifold is learned by means of auto-encoders that map a high-dimensional discretization of the system state into itself, LDNets automatically discover a low-dimensional manifold while learning the latent dynamics, without ever operating in the high-dimensional space. Furthermore, LDNets are meshless algorithms that do not reconstruct the output on a predetermined grid of points, but rather at any point of the domain, thus enabling weight-sharing across query-points. These features make LDNets lightweight and easy-to-train, with excellent accuracy and generalization properties, even in time-extrapolation regimes. We validate our method on several test cases and we show that, for a challenging highly-nonlinear problem, LDNets outperform state-of-the-art methods in terms of accuracy (normalized error 5 times smaller), by employing a dramatically smaller number of trainable parameters (more than 10 times fewer).

연구 동기 및 목표

• 고차원 표현에 의존하지 않고 비마르코프 시공간 시스템의 저차원 내재 동역학을 학습하는 데이터 기반 방법을 개발하는 것.
• 복잡한 비선형 시스템에 대해 계산 비용과 모델 복잡도를 줄이며 정확한 시간 외삽 예측을 가능하게 하는 것.
• 가중치 공유를 통해 도메인 전역에서 메쉬 없는 점별 추론을 가능하게 하여 사전 정의된 공간 격자가 필요 없도록 하는 것.
• 고차원 공간에서의 오토인코더 재구성 없이 잠재 다각형과 동역학을 함께 학습하여 일반화 능력과 학습 효율성을 향상시키는 것.
• 기본 비선형 시공간 문제에서 기존의 서rogate 모델링 기법에 비해 정확도와 파라미터 효율성 면에서 슈퍼리어한 성능을 내는 것.

제안 방법

• LDNets는 두 단계 학습 프로세스를 사용한다: 먼저 시스템 상태를 잠재 공간으로 매핑하는 오토인코더를 학습하지만, 추론 시에는 이 인코더를 기각한다.
• 동역학 네트워크는 ODE-Net 또는 LSTM으로 구현되며, 원래의 고차원 데이터에 접근하지 않고 입력 트래잭터리에서 잠재 상태의 시간 진화를 학습한다.
• 세 번째 단계에서 모델은 손실 함수를 최소화하여 훈련 데이터의 재구성 오차를 줄이는 방식으로 동역학 및 디코더 네트워크를 함께 최적화함으로써 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 메쉬리스이다: 예측은 도메인 내 임의의 쿼리 포인트에서 이루어지며, 공간 위치 간 가중치 공유를 가능하게 하고 격자 기반 이산화를 피한다.
• 일반화 능력 향상과 과적합 방지를 위해 동역학 및 디코더 가중치에 정규화 기법을 적용한다.
• 침습적인 투영 기법을 피하고 지배 방정식의 지식이 필요 없기 때문에, 복잡하고 비선형적인 행동을 보이는 시스템에 적합하다.

실험 결과

연구 질문

• RQ1 데이터 기반 모델이 고차원 공간에서 전체 상태를 재구성하지 않고도 시공간 시스템의 내재 저차원 동역학을 학습할 수 있는가?
• RQ2 비선형이고 비마르코프 시스템에 대해 LDNets의 정확도와 파라미터 효율성은 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ3 LDNets는 훈련 시간 범위를 초월한 시간 외삽 영역으로 얼마나 잘 일반화되는가?
• RQ4 LDNets의 메쉬리스, 점별 예측 기능은 격자 기반 방법에 비해 일반화 능력 향상과 계산 비용 절감에 얼마나 기여하는가?
• RQ5 동역학 및 디코더 네트워크의 엔드 투 엔드 미세조정이 예측 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• LDNets는 매우 비선형적인 시공간 문제에서 최신 기술 수준의 방법보다 정규화 오차가 5배 작다.
• 경쟁 기법에 비해 훈련 가능한 파라미터 수가 10배 이상 적어 모델 복잡도가 크게 감소한다.
• LDNets는 특히 장기 예측이 필요한 장기 예측 시나리오에서 강력한 일반화 능력을 보인다.
• 두 단계 기반 모델 대비 엔드 투 엔드 미세조정 단계(AE/ODE-e2e 및 AE/LSTM-e2e)에서 예측 정확도가 추가로 향상된다.
• 메쉬리스 아키텍처는 임의의 공간 포인트에서 효율적이고 가중치 공유 기반의 추론을 가능하게 하여 유연성과 확장성 향상을 이룬다.
• 전통적인 침습적 감소된 순서 모델과 비침습적 데이터 기반 서rogate 모델 모두에 비해 정확도와 파라미터 효율성 면에서 뛰어난 성능을 보인다.