[논문 리뷰] Discovering Governing Equations from Partial Measurements with Deep Delay Autoencoders

Joseph Bakarji, Kathleen M. Champion외 2명|arXiv (Cornell University)|2022. 01. 13.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 시간 지연된 부분 측정값으로부터 좌표 변환을 동시에 학습하고, SINDy를 사용하여 희소하고 해석 가능한 운동 방정식을 발견하는 딥 딜레이 오토인코더 프레임워크를 제안한다. 타케인스의 임bedding 정리와 맞춤형 오토인코더를 활용하여, 단일 관측 변수로부터 전체 역학을 복원하며, 루엔츠, 로스러, 로트카-볼테라 시스템을 성공적으로 복원하였다. 이는 혼돈 수차의 영상 데이터로부터도 가능하다.

ABSTRACT

A central challenge in data-driven model discovery is the presence of hidden, or latent, variables that are not directly measured but are dynamically important. Takens' theorem provides conditions for when it is possible to augment these partial measurements with time delayed information, resulting in an attractor that is diffeomorphic to that of the original full-state system. However, the coordinate transformation back to the original attractor is typically unknown, and learning the dynamics in the embedding space has remained an open challenge for decades. Here, we design a custom deep autoencoder network to learn a coordinate transformation from the delay embedded space into a new space where it is possible to represent the dynamics in a sparse, closed form. We demonstrate this approach on the Lorenz, Rössler, and Lotka-Volterra systems, learning dynamics from a single measurement variable. As a challenging example, we learn a Lorenz analogue from a single scalar variable extracted from a video of a chaotic waterwheel experiment. The resulting modeling framework combines deep learning to uncover effective coordinates and the sparse identification of nonlinear dynamics (SINDy) for interpretable modeling. Thus, we show that it is possible to simultaneously learn a closed-form model and the associated coordinate system for partially observed dynamics.

연구 동기 및 목표

• 단일 측정값만 제공될 경우 해석 가능한 폐쇄형 역학 모델을 발견하는 데 도전하는 것.
• 알 수 없는 복잡한 좌표 변환을 가진 지연 임베딩 공간에서의 해석 가능한 역학 학습의 어려움을 극복하는 것.
• 제한된 관측값으로부터 효과적인 좌표와 희소한 비선형 역학을 동시에 학습하는 통합 프레임워크를 개발하는 것.
• 시간 지연 임베딩과 딥 오토인코더를 활용해 은닉 변수가 있는 시스템에 SINDy 기반 모델 발견을 확장하는 것.
• 표준 혼돈 시스템과 실제 영상 데이터(루엔츠 워터휠 실험 포함)에 대해 이 방법을 적용하는 것.

제안 방법

• 타케인스 정리에 기반해 단일 측정 변수로부터 미분형의 애트랙터를 재구성하기 위해 시간 지연 임베딩을 사용한다.
• 딥 오토인코더를 학습시켜 지연 임베딩 공간에서 새로운 잠재 공간으로의 비선형 좌표 변환을 학습하며, 이 공간에서 역학은 희소하고 해석 가능하다.
• 오토인코더와 SINDy를 함께 최적화하여 운동 방정식의 희박성을 강제함으로써, 학습된 역학이 폐쇄형이고 단순한 형태임을 보장한다.
• 에코더는 지연 임베딩된 관측값을 저차원 잠재 공간으로 매핑하고, 디코더는 원래 측정값을 재구성하며 재구성 오차를 최소화한다.
• 잠재 공간에서 SINDy를 통합하여, 비선형 기저 함수의 희소 조합으로서 운동 방정식을 식별한다.
• 임베딩 차원과 시간 지연과 같은 하이퍼파라미터는 애트랙터 펼침과 분산 포화를 기반으로 선택되며, 상호정보량과 SVD와 같은 방법을 사용한다.

실험 결과

연구 질문

• RQ1 딥 오토인코더는 시간 지연된 부분 측정값으로부터 운동 방정식의 희소 식별을 가능하게 하는 좌표 변환을 학습할 수 있는가?
• RQ2 단일 관측 변수로부터 동시에 해석 가능한 역학과 기저 좌표계를 발견하는 것이 가능한가?
• RQ3 제한된 측정값과 노이즈가 있는 실제 영상 데이터로부터 혼돈 역학을 얼마나 잘 복원할 수 있는가?
• RQ4 오토인코더와 SINDy를 함께 최적화하는 것이 순차적 접근법에 비해 모델의 희박성과 정확도를 향상시키는가?
• RQ5 이 프레임워크는 영상 시퀀스에서 유도된 복잡한 고차원 시스템으로 일반화될 수 있는가?

주요 결과

• 이 방법은 단일 측정 변수만을 사용하여 루엔츠, 로스러, 로트카-볼테라 시스템의 운동 방정식을 성공적으로 복원하였다.
• 루엔츠 워터휠 실험에서는 낮은 프레임 레이트와 측정 노이즈에도 불구하고, 알려진 역학과 일치하는 세차 다항식 모델을 발견하였다.
• 영상 데이터로부터 재구성된 역학은 원래 루엔츠 애트랙터와 일치하는 이중 lob 구조를 보였으며, 실제 데이터에 대한 방법의 강건성을 검증하였다.
• SINDy 제약 없이 학습된 오토인코더는 희소 모델을 생성하지 못했으며, 이는 설명 가능한 모델을 얻기 위해 공동 최적화가 필수적임을 보여주었다.
• 최적의 시간 지연 간격 $ n\tau \approx 0.1 $ 가 애트랙터를 가장 잘 펼치며, 이는 모델 정확도 향상에 기여하였다.
• 한겔 행렬의 첫 세 SVD 모드가 대부분의 분산을 포괄하여 오토인코더의 잠재 차원 선택에 안내하였다.