[논문 리뷰] Analyzing Koopman approaches to physics-informed machine learning for long-term sea-surface temperature forecasting

Julian Rice, Wenwei Xu외 1명|arXiv (Cornell University)|2020. 09. 15.

Meteorological Phenomena and Simulations참고 문헌 23인용 수 9

한 줄 요약

이 논문은 쿠프만 연산자 이론과 복소형 자동에코더를 조합한 물리 기반 기계학습 접근법을 사용하여 멕시코 만에서 장기적인 해면수온(SST) 예측을 위한 방법을 제안한다. 표준 및 '일致성 있는' 쿠프만 방법을 평가한 결과, 일치성 있는 변형이 기본 모델보다 성능 향상을 이끌지 못했으며, 복소형 아키텍처가 제한적인 이점을 제공하는 것으로 나타나, 모델 설계에서의 이전 가정들이 복잡한 지구물리학 도메인에서 신중히 검증되어야 한다는 점을 시사한다.

ABSTRACT

Accurately predicting sea-surface temperature weeks to months into the future is an important step toward long term weather forecasting. Standard atmosphere-ocean coupled numerical models provide accurate sea-surface forecasts on the scale of a few days to a few weeks, but many important weather systems require greater foresight. In this paper we propose machine-learning approaches sea-surface temperature forecasting that are accurate on the scale of dozens of weeks. Our approach is based in Koopman operator theory, a useful tool for dynamical systems modelling. With this approach, we predict sea surface temperature in the Gulf of Mexico up to 180 days into the future based on a present image of thermal conditions and three years of historical training data. We evaluate the combination of a basic Koopman method with a convolutional autoencoder, and a newly proposed "consistent Koopman" method, in various permutations. We show that the Koopman approach consistently outperforms baselines, and we discuss the utility of our additional assumptions and methods in this sea-surface temperature domain.

연구 동기 및 목표

• 표준 수치 모델의 1~2주 한계를 초월한 장기적인 해면수온(SST) 예측의 필수적 필요성을 해결한다.
• 쿠프만 연산자 이론을 통해 물리 지식을 통합함으로써 순수 데이터 기반 모델의 한계를 극복한다.
• 특히 쿠프만 일치성과 복소형 자동에코더의 인덕티브 편향이라는 추가 가정이 장기적인 SST 예측 성능을 향상시키는지 조사한다.
• 강한 비선형 역학을 보이는 실제 복잡한 지구물리학적 시스템에서 쿠프만 기반 방법의 일반화 및 강건성 평가.
• 3년간의 테스트 데이터를 기반으로 한 표준화된 평가 프로토콜을 사용해 해양학에서 물리 기반 기계학습의 기준 성능 제공.

제안 방법

• 비선형 SST 역학을 올리프트된 관측 공간에서 선형 동역학으로 변환하기 위해 쿠프만 연산자 이론을 적용하여 장기 예측을 선형 동역학을 통해 가능하게 한다.
• 복소형 자동에코더를 사용해 SST 이미지의 저차원 표현을 학습하여 공간적 패턴과 온도 구조를 잠재 공간에 인코딩한다.
• 시간 역행성을 쿠프만 연산자에 강제 적용하는 '일致성 있는 쿠프만' 방법을 구현하여 과거와 미래 상태 전이의 대칭성을 확보한다.
• 초기 SST 이미지 1장과 3년간의 역사적 데이터를 사용해 종합적으로 모델을 훈련하고, 최대 180일까지의 향후 예측을 수행한다.
• 예측된 값과 실제 SST 값 간의 상대 예측 오차를 최소화하는 손실 함수를 사용해 모델을 최적화한다.
• 초기화 분산에 대한 강건성을 확보하기 위해 3년간의 샘플 외부 데이터를 기반으로 한 12개의 시드 기반 교차 검증 체계를 적용해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 실제 해양 데이터에서 표준 쿠프만 접근법에 비해 일치성 있는 쿠프만 방법이 장기적인 SST 예측 정확도를 향상시키는가?
• RQ2 복소형 자동에코더의 인덕티브 편향이 완전히 연결된 대안 대비 SST 예측 성능 향상에 얼마나 기여하는가?
• RQ3 쿠프만 이론 기반 물리 기반 기계학습 모델이 장기 예측 수준에서 일반화 및 강건성 측면에서 표준 기준 모델과 비교해 어떻게 성능를 내는가?
• RQ4 시간 역행성과 이동 불변성 등의 모델 가정이 복잡한 비선형 지구물리학 시스템에서 예측 성능에 미치는 영향은 무엇인가?
• RQ5 쿠프만 기반 모델이 단일 초기 SST 이미지와 역사적 데이터만을 사용해 신뢰할 수 있는 180일간의 SST 예측을 달성할 수 있는가?

주요 결과

• 복소형 자동에코더를 사용한 표준 쿠프만 접근법(SimpleKAE)은 180일째 평균 상대 예측 오차가 0.451로 기준 모델을 크게 앞서며 성능을 냈다.
• 제안된 일치성 있는 쿠프만 방법(ConsKAE)은 180일째 평균 상대 예측 오차가 0.583으로 더 높아 성능 향상이 없고, 기준 모델 대비 성능 저하가 발생했다.
• 예측 오차의 최소-최대 범위(0.863 for SimpleKAE, 1.151 for ConsKAE)는 특히 일치성 있는 방법에서 무작위 시드 초기화에 매우 민감한 것으로 나타나, 이는 모델의 불안정성을 시사한다.
• 이전 연구 결과와 모순되며, Azencot 등은 일치성 있는 방법을 통해 평균 오차를 0.069 향상시켰다고 보고했지만, 본 연구에서는 데이터셋 및 평가 프로토콜의 이질성으로 인해 결과가 일관되지 않음을 확인했다.
• 복소형 인코더를 통한 이동 불변성 가정에 대한 실증적 이점은 없었으며, 이는 복잡하고 공간적으로 비균일한 SST 동역학에서는 이러한 아키텍처의 인덕티브 편향이 성능 향상에 방해가 될 수 있음을 시사한다.
• 저자들은 모든 물리 기반 가정이 유익한 것은 아니며, 특히 고차원적 비선형 시스템인 해양 SST와 같은 도메인에서는 모델 설계 가정이 타겟 도메인에서 신중히 검증되어야 한다고 결론 내린다.