[논문 리뷰] Bagging, optimized dynamic mode decomposition (BOP-DMD) for robust, stable forecasting with spatial and temporal uncertainty-quantification

Diya Sashidhar, J. Nathan Kutz|arXiv (Cornell University)|2021. 07. 22.

Model Reduction and Neural Networks참고 문헌 48인용 수 7

한 줄 요약

이 논문은 통계적 배깅과 최적화된 DMD를 조합하여 노이즈 유발 편향을 줄이고 종합적인 공간 및 시간적 불확실성 정량화(UQ)를 제공하는 안정적이고 강건한 예측 방법인 Bagging, 최적화된 동적 모드 분해(BOP-DMD)를 제안한다. 부트스트래핑 스크래치 데이터에 기반한 최적화된 DMD 모델의 앙상블을 훈련하고 그 출력을 평균화함으로써 BOP-DMD는 정확도와 신뢰성을 향상시키며, 불확실성이 정량화된 확률 예측을 가능하게 한다.

ABSTRACT

Dynamic mode decomposition (DMD) provides a regression framework for adaptively learning a best-fit linear dynamics model over snapshots of temporal, or spatio-temporal, data. A diversity of regression techniques have been developed for producing the linear model approximation whose solutions are exponentials in time. For spatio-temporal data, DMD provides low-rank and interpretable models in the form of dominant modal structures along with their exponential/oscillatory behavior in time. The majority of DMD algorithms, however, are prone to bias errors from noisy measurements of the dynamics, leading to poor model fits and unstable forecasting capabilities. The optimized DMD algorithm minimizes the model bias with a variable projection optimization, thus leading to stabilized forecasting capabilities. Here, the optimized DMD algorithm is improved by using statistical bagging methods whereby a single set of snapshots is used to produce an ensemble of optimized DMD models. The outputs of these models are averaged to produce a bagging, optimized dynamic mode decomposition (BOP-DMD). BOP-DMD not only improves performance, it also robustifies the model and provides both spatial and temporal uncertainty quantification (UQ). Thus unlike currently available DMD algorithms, BOP-DMD provides a stable and robust model for probabilistic, or Bayesian forecasting with comprehensive UQ metrics.

연구 동기 및 목표

• 실제 데이터에서 측정 노이즈로 인해 발생하는 표준 DMD 알고리즘의 불안정성과 편향 문제를 해결하기 위해.
• 노이즈가 많고 고차원적인 시공간 시스템에서 DMD의 정확도와 강건성을 향상시키기 위해.
• 대부분의 기존 DMD 변종에서 부족한 DMD 기반 예측의 공간적 및 시간적 불확실성 정량화(UQ)를 제공하기 위해.
• 해석 가능하고 데이터 효율적이며 공학, 생물학 및 자연과학 분야의 실세계 적용에 적합한 방법을 개발하기 위해.
• 통계적 배깅과 변수 투영 최적화를 통합하여 DMD에서의 모델 분산과 과적합을 줄이기 위해.

제안 방법

• 메서드는 원본 스크래치 데이터의 여러 부분집합을 생성하기 위해 부트스트래핑 리샘플링을 사용한다.
• 각 부트스트래핑 샘플은 변수 투영을 통해 최적화된 DMD 모델을 훈련하는 데 사용되어 노이즈로 인한 편향을 최소화한다.
• 최종 모델은 모든 부트스트래핑 모델의 DMD 모드, 고유값, 하중을 평균화하여 분산을 감소시킨다.
• 공간적 불확실성은 앙상블 전체에 걸쳐 공간적으로 DMD 모드의 표준편차를 계산하여 정량화한다.
• 시간적 불확실성은 앙상블의 DMD 고유값에 정규분포를 피팅하여 확률 예측을 가능하게 한다.
• 몬테카를로 시뮬레이션을 사용하여 공간적 및 시간적 UQ 지표를 바탕으로 불확실성 구간을 갖는 예측 앙상블을 생성한다.

실험 결과

연구 질문

• RQ1 배깅은 노이즈가 있는 데이터에서 DMD의 안정성과 정확도를 향상시킬 수 있는가?
• RQ2 배깅과 최적화된 DMD의 조합은 예측에 대해 신뢰할 수 있는 공간적 및 시간적 불확실성 정량화를 제공할 수 있는가?
• RQ3 BOP-DMD는 재구성 및 예측 시 공간-시간 역학을 표준 DMD 및 최적화된 DMD와 비교해 어떻게 성능을 발휘하는가?
• RQ4 BOP-DMD는 강건성과 예측 능력을 향상시키는 동안 해석 가능성은 유지하는가?
• RQ5 BOP-DMD는 고차원적이고 노이즈가 많은 측정값을 갖는 실세계 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• BOP-DMD는 특히 노이즈가 많은 데이터 영역에서 표준 DMD 및 최적화된 DMD에 비해 편향을 크게 줄이고 정확도를 향상시킨다.
• 이 방법은 복잡한 역학이 발생하는 영역, 예를 들어 엘니뇨 남북열대성 진동(ENSO)과 같이 모델 신뢰도가 낮은 곳에서 높은 공간적 불확실성 지표를 제공한다.
• 시간적 불확실성은 DMD 고유값의 분포를 통해 정량화되어 신뢰구간을 갖는 확률 예측을 가능하게 한다.
• 실린더 주위의 유동에 대해 BOP-DMD는 역학의 저차원성 덕분에 거의 영역의 예측 불확실성을 기록한다.
• 해면수온 데이터셋에서 7.6년 예측 오차는 공간적 불확실성 지표와 강하게 상관되며, 이는 UQ의 신뢰성을 검증한다.
• 이 방법은 해면수온 데이터를 7.6년 동안 정확하게 예측하기 위해 단지 다섯 개의 DMD 모드만을 요구한다. 이는 데이터 효율성을 입증한다.