[논문 리뷰] Analog Forecasting with Dynamics-Adapted Kernels

Zhizhen Zhao, Dimitrios Giannakis|arXiv (Cornell University)|2014. 12. 11.

Climate variability and models참고 문헌 46인용 수 6

한 줄 요약

이 논문은 동역학에 적응하는 커널을 사용해 다수의 유사한 상태를 동역학적 유사성 기반으로 가중 평균하는 비모수적 예측 방법인 커널 유사 예측을 소개한다. 이는 타케인스 지연좌표와 벡터장 정렬을 포함한 동역학적 특징을 활용하여 전통적인 유사 예측 방법을 향상시킨다. 이 방법은 단일 유사 예측 및 유클리드 거리 기반 접근보다 예측 정확도를 크게 향상시키며, 태평양 10년 대기압 진동(Pacific Decadal Oscillation)에 대해 2.6년, 엔소 관련 모드에 대해 1.8년까지 유용한 예측 유효 기간을 연장한다.

ABSTRACT

Analog forecasting is a nonparametric technique introduced by Lorenz in 1969 which predicts the evolution of states of a dynamical system (or observables defined on the states) by following the evolution of the sample in a historical record of observations which most closely resembles the current initial data. Here, we introduce a suite of forecasting methods which improve traditional analog forecasting by combining ideas from kernel methods developed in harmonic analysis and machine learning and state-space reconstruction for dynamical systems. A key ingredient of our approach is to replace single-analog forecasting with weighted ensembles of analogs constructed using local similarity kernels. The kernels used here employ a number of dynamics-dependent features designed to improve forecast skill, including Takens' delay-coordinate maps (to recover information in the initial data lost through partial observations) and a directional dependence on the dynamical vector field generating the data. Mathematically, our approach is closely related to kernel methods for out-of-sample extension of functions, and we discuss alternative strategies based on the Nyström method and the multiscale Laplacian pyramids technique. We illustrate these techniques in applications to forecasting in a low-order deterministic model for atmospheric dynamics with chaotic metastability, and interannual-scale forecasting in the North Pacific sector of a comprehensive climate model. We find that forecasts based on kernel-weighted ensembles have significantly higher skill than the conventional approach following a single analog.

연구 동기 및 목표

• 단일 유사 예측과 유클리드 거리에 의존하는 전통적인 유사 예측의 한계를 해결하여, 혼돈된 및 부분 관측 가능한 시스템에서 낮은 정확도를 개선한다.
• 지연좌표 맵과 벡터장 정렬과 같은 동역학적 특징을 커널 유사성 측정에 통합하여 저차원 및 종합 기후 모델에서의 예측 정확도를 향상시킨다.
• 명시적 파rametric 모델이나 전체 수치 시뮬레이션에 의존하지 않는 데이터 기반 비모수적 예측 프레임워크를 개발한다.
• 특히 니스트롬(Nyström) 및 라플라시안 피라미드 기법을 통해 커널 방법을 사용해 관측값의 외삽을 강력하게 확장하여 일반화 및 불확실성 정량화를 향상시킨다.
• 모델 오차와 불완전한 데이터 조건 하에서, 태평양 10년 대기압 진동과 엔소 관련 모드를 포함한 저주파 기후 변동을 예측하는 데서 이 방법의 효과성을 입증한다.

제안 방법

• 단일 유사 예측을 동역학적 특징 기반 유사성 측정에 따라 가중 평균을 적용한 커널 기반 앙상블로 대체한다.
• 상태공간을 재구성하고 부분 관측에서 손실된 정보를 복구하기 위해 타케인스의 지연좌표 맵을 통합한다.
• 유한차분 근사에 의한 동역학적 벡터장 통합을 통해 유사성에 방향성 일致성을 강화하여 관측 모odal 변화에 대한 강건성을 향상시킨다.
• 이중정규화(bistochastic) 방법을 통한 커널 정규화를 적용하여 불완전한 초기 데이터로부터 편향 없는 예측을 가능하게 한다.
• 외삽을 위한 니스트롬 방법을 활용해 커널 고유함수를 확장하여 매끄럽고 예측 가능한 관측값의 예측을 가능하게 한다.
• 라플라시안 피라미드를 적용해 다중 척도 기반 커널 기반 예측을 실현하며, 특히 예측 가능성 특성이 양호한 관측값의 일반 클래스에 대해 효과적이다.

실험 결과

연구 질문

• RQ1 혼돈된 동역학계에서 단일 유사 예측에 비해 커널 기반 가중 유사 앙상블이 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 지연좌표와 벡터장 정렬을 통합한 동역학에 적응하는 커널이 예측 정확도와 강건성에 얼마나 기여하는가?
• RQ3 니스트롬 및 라플라시안 피라미드 방법은 새로운 초기 조건에 대한 커널 기반 예측을 확장하는 데에서 어떤 정도의 성능을 보이는가?
• RQ4 실제 기후 응용에서 관찰되는 모델 오차와 불완전한 초기 데이터 조건 하에서도 커널 유사 예측이 높은 정확도를 유지할 수 있는가?
• RQ5 커널 기반 유사 예측이 지속성 또는 자기선형 회귀 모델에 비해 저주파 기후 모드의 최대 유용 예측 유효 기간은 얼마인가?

주요 결과

• 니스트롬 외삽과 라플라시안 피라미드를 적용한 커널 유사 예측은 패턴 상관계수가 0.5 이상일 때 태평양 10년 대기압 진동의 유용 예측 유효 기간을 2.6년으로 연장하였으며, 지속성 예측의 2년 기준을 초월한다.
• 엔소와 연관된 두 번째 저주파 고유함수에 대해서는 패턴 상관계수가 1.8년간 0.5 이상 유지되었으며, 지속성 예측의 0.8년 기준에 비해 뛰어나다.
• 이 방법은 특히 혼돈된 준정적 안정성과 저주파 변동성을 보이는 시스템에서 기존의 유클리드 거리 기반 유사 예측보다 뚜렷이 뛰어난 성능을 보였다.
• 동역학적으로 적응하는 커널은 시간스케일 분리와 예측 가능성을 향상시켜, 유리한 매끄러움과 장기 예측 가능성을 가진 데이터 기반 관측값을 구성하는 데 기여했다.
• 이중정규화 커널 정규화를 사용함으로써 초기 데이터가 불완전한 상황에서도 편향 없는 예측이 가능했으며, 관측 노이즈와 누락 변수에 대한 강건성을 입증했다.
• 학습 데이터에 모델 오차가 존재하는 실험에서도 커널 유사 예측은 높은 정확도를 유지하였으며, 기후 모델링에서 흔히 발생하는 동역학 모델 정확도 부족에 대한 내성적 저항성을 보였다.