[논문 리뷰] DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems

Yair Schiff, Zhong Wan외 5명|arXiv (Cornell University)|2024. 02. 06.

Neural Networks and Applications인용 수 4

한 줄 요약

DySLIM은 궤적 정확도와 시스템의 액트러의 불변 측도를 동시에 최적화하는 새로운 학습 프레임워크를 제안한다. 이는 확장 가능한 정규화 항을 사용하며, 기존의 손실 기반 방법에 비해 더 뛰어난 장기적 통계 정확도와 안정적인 궤적 예측을 달성한다. 이는 혼돈성 불안정성으로 인해 자주 발산하는 경향이 있다.

ABSTRACT

Learning dynamics from dissipative chaotic systems is notoriously difficult due to their inherent instability, as formalized by their positive Lyapunov exponents, which exponentially amplify errors in the learned dynamics. However, many of these systems exhibit ergodicity and an attractor: a compact and highly complex manifold, to which trajectories converge in finite-time, that supports an invariant measure, i.e., a probability distribution that is invariant under the action of the dynamics, which dictates the long-term statistical behavior of the system. In this work, we leverage this structure to propose a new framework that targets learning the invariant measure as well as the dynamics, in contrast with typical methods that only target the misfit between trajectories, which often leads to divergence as the trajectories' length increases. We use our framework to propose a tractable and sample efficient objective that can be used with any existing learning objectives. Our Dynamics Stable Learning by Invariant Measure (DySLIM) objective enables model training that achieves better point-wise tracking and long-term statistical accuracy relative to other learning objectives. By targeting the distribution with a scalable regularization term, we hope that this approach can be extended to more complex systems exhibiting slowly-variant distributions, such as weather and climate models.

연구 동기 및 목표

• 양의 리아프노프 지수로 인해 오차가 시간이 지남에 따라 증폭되는 혼돈 시스템의 학습 불안정성 문제를 해결하기 위해.
• 표준 학습 방식에서 자주 발산하는 고산산성 혼돈 시스템의 장기적 통계 정확도를 향상시키기 위해.
• 액트러의 불변 측도 존재를 안정적인 학습을 위한 정규화 신호로 활용하기 위해.
• 기존 학습 목표와 조합할 수 있는 실용적이고 샘플 효율적인 목표를 개발하기 위해.
• 분포가 천천히 변화하는 복잡한 시스템, 예를 들어 기상 및 기후 모델과 같은 시스템의 더 신뢰할 수 있는 모델링을 가능하게 하기 위해.

제안 방법

• 이 방법은 표준 궤적 손실과 액트러의 불변 측도를 목표로 하는 싱크호른 발산 기반 정규화 항을 조합한 DySLIM 목표 함수를 도입한다.
• 학습된 동역학의 프로젝션을 이용해 불변 측도를 추정함으로써, 프로젝션 기법을 통해 미분 가능 최적화를 가능하게 한다.
• 이 프레임워크는 어떤 순차적 모델 아키텍처와도 호환되며, 기존의 학습 목표와 통합될 수 있다.
• 정규화 항은 싱크호른 발산를 통한 최적화 운반을 통해 확장 가능하고 안정적인 최적화를 가능하게 한다.
• 로렌츠-63, 쿠라모고로프-시바시킨, 콜모고로프 유동과 같은 시스템에 적용되었으며, 배치 크기와 학습률에 대한 분석 연구가 수행되었다.
• 장기 궤적에서 추정된 불변 측도를 기반으로 모델을 학습시키며, 동시에 단기 궤적의 정확성을 유지한다.

(a)

실험 결과

연구 질문

• RQ1 학습된 동역학이 시스템의 불변 측도를 일치시키도록 정규화하면 혼돈 시스템에서 장기적 안정성이 향상되는가?
• RQ2 불변 측도 정규화를 포함함으로써 궤적 추적 정확도와 통계 일관성은 어떻게 영향을 받는가?
• RQ3 제안된 목표 함수는 기존 학습 목표와 효율적으로 조합될 수 있으며 샘플 효율성은 손상되지 않는가?
• RQ4 장기 예측 및 통계 정확도 측면에서 표준 MSE 기반 학습에 비해 이 방법이 우월한가?
• RQ5 이 방법은 다양한 복잡도와 액트러 구조를 가진 다른 혼돈 시스템으로 일반화되는 정도는 어느 정도인가?

주요 결과

• DySLIM 목표 함수는 궤적 폭발을 크게 감소시키고 장기적 통계 정확도를 향상시켜 MELR 및 covRMSE 지표가 낮아짐을 입증했다.
• 로렌츠-63 시스템에서 정규화된 모델은 256개 시간 단위에서 중앙값 코사인 유사도 0.89를 달성하여 비정규화 기반 모델을 능가했다.
• 콜모고로프 유동 시스템에서는 정규화된 모델이 MELR 2.34×10⁻²을 기록했고, 비정규화된 프로젝션 기반 기준 모델은 4.10×10⁻²이었다.
• 큰 배치 크기(최대 512)에도 불구하고 비정규화 모델은 여전히 높은 소산성과 불안정성을 보였지만, 정규화된 모델은 일관된 역학을 유지했다.
• 다양한 랜덤 시드에서 안정적인 학습이 가능했으며, 160회의 실행 중 비정규화 모델 중 유일하게 하나의 안정적 모델만 발견되었다.
• 이 프레임워크는 하이퍼파rameter 변화에 뛰어난 내성성을 보였고, 복잡한 액트러를 가진 다양한 혼돈 시스템에서도 높은 성능을 유지했다.

(b)