[논문 리뷰] Learning Dynamical Systems via Koopman Operator Regression in Reproducing Kernel Hilbert Spaces

Vladimir R. Kostic, Pietro Novelli외 4명|arXiv (Cornell University)|2022. 05. 27.

Model Reduction and Neural Networks인용 수 16

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 쿠퍼만 연산자 회귀를 위한 통계학적 학습 프레임워크를 제안하며, 커널 방법을 통해 데이터 기반으로 동역학 시스템을 모델링할 수 있도록 한다. 혼합 조건 하에서 유효한 비점근적 학습 경계를 가진 단순화된 랭크 추정기(RRR)를 도입하여, 대기 질 및 분자 동역학 데이터에 대한 실험에서 기준 방법 대비 개선된 예측 및 모드 분해 성능을 입증한다.

ABSTRACT

We study a class of dynamical systems modelled as Markov chains that admit an invariant distribution via the corresponding transfer, or Koopman, operator. While data-driven algorithms to reconstruct such operators are well known, their relationship with statistical learning is largely unexplored. We formalize a framework to learn the Koopman operator from finite data trajectories of the dynamical system. We consider the restriction of this operator to a reproducing kernel Hilbert space and introduce a notion of risk, from which different estimators naturally arise. We link the risk with the estimation of the spectral decomposition of the Koopman operator. These observations motivate a reduced-rank operator regression (RRR) estimator. We derive learning bounds for the proposed estimator, holding both in i.i.d. and non i.i.d. settings, the latter in terms of mixing coefficients. Our results suggest RRR might be beneficial over other widely used estimators as confirmed in numerical experiments both for forecasting and mode decomposition.

연구 동기 및 목표

• 동역학 시스템의 유한 궤적에서 쿠퍼만 연산자 회귀를 위한 통계학적 학습 프레임워크를 체계화하기.
• 쿠퍼만 연산자 추정을 RKHS 내의 위험 최소화 및 스펙트럼 분해와 연결하기.
• 개선된 일반화 및 해석 가능성에 기여하는 새로운 단순화된 랭크 추정기(RRR) 개발 및 분석하기.
• 혼합 계수를 사용하여 i.i.d. 및 비-i.i.d. 설정 모두에서 RRR 추정기의 비점근적 학습 경계 유도하기.
• 예측 및 모드 분해 과제에서의 프레임워크 유효성 실증 검증을 통한 검증하기.

제안 방법

• 쿠퍼만 연산자를 재생 커널 힐버트 공간(RKHS)에 제한하여, 힐베르트-슈미트 연산자를 가설 공간으로 사용할 수 있도록 한다.
• 쿠퍼만 연산자 회귀를 위험 최소화 문제로 공식화하며, 위험은 스펙트럼 분해 오차와 연결된다.
• 쿠퍼만 연산자 추정의 랭크를 제약함으로써 단순화된 랭크 연산자 회귀(RRR) 추정기를 도입한다.
• 혼합 과정에 대한 측도 집중 이론을 사용하여 학습 경계를 도출하며, 고전적 i.i.d. 결과를 비-i.i.d. 시계열로 확장한다.
• 선형, 가우시안, 딥 신경망 기반 커널(CNN 임베딩 포함)을 포함한 커널 방법을 사용하여 상태 관측치를 RKHS로 매핑한다.
• 실험에서 정규화 파라미터 선택을 위해 시계열 교차검증(TimeSeriesSplit)과 그리드 서치를 적용한다.

실험 결과

연구 질문

• RQ1 RKHS를 사용한 통계학적 학습 프레임워크 내에서 쿠퍼만 연산자 회귀는 어떻게 체계화될 수 있는가?
• RQ2 쿠퍼만 연산자 추정기의 위험과 그 스펙트럼 분해 정확도 사이의 관계는 무엇인가?
• RQ3 단순화된 랭크 추정기(RRR)는 유한하고 비-i.i.i.d. 궤적에서 동역학 시스템 학습 시 일반화 및 성능을 어떻게 향상시키는가?
• RQ4 약한 의존성(혼합) 가정 하에서 쿠퍼만 연산자 회귀에 대해 비점근적 학습 경계를 설정할 수 있는가?
• RQ5 다양한 실제 데이터셋에서 커널 기반 쿠퍼만 추정기의 예측 및 모드 분해 성능는 어떻게 비교되는가?

주요 결과

• 비트래픽 대기질 데이터셋에서 RRR 추정기는 PCR 및 기타 기준 방법 대비 낮은 훈련 및 테스트 오차를 기록하며, 그리드 서치를 통해 γ=10⁻⁴로 정규화 파라미터가 선택되었다.
• 모드 분해 결과, PM2.5 농도 피크와 이후 바람 속도 피크 사이에 일관된 2시간 지연이 확인되어 오염 확산에 대한 물리적 직관을 뒷받침한다.
• CNN 기반 커널은 장기 예측에서도 강력한 성능을 유지하는 반면, 선형 및 가우시안 커널은 빠르게 성능이 떨어지며, 깊은 특징 학습의 이점이 드러난다.
• 이론적 분석을 통해 비-i.i.d. 설정에서 RRR 추정기의 비점근적 학습 경계를 확립하였으며, 혼합 과정에 대한 새로운 레마에 기반한다.
• 이 프레임워크는 동적 모드 분해(DMD) 및 관련 방법을 특수 케이스로 복원하며, 통계학적 학습 관점에서 통합한다.
• 수치 실험을 통해 RRR 추정기가 예측 정확도 및 모드 분해 품질 모두에서 표준 추정기보다 뛰어난 성능을 보임을 확인했다.