[논문 리뷰] Mixed LICORS: A Nonparametric Algorithm for Predictive State Reconstruction

Georg M. Goerg, Cosma Rohilla Shalizi|PubMed|2012. 11. 15.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

믹스드 리코어스는 예측 분포를 극단 분포의 혼합으로 모델링함으로써 시공간 데이터로부터 예측 상태 재구성 성능을 향상시키는 비모수적, EM 유사 소프트 클러스터링 알고리즘을 제안한다. 하드 클러스터링 리코어스에 비해 특히 데이터가 제한된 경우에 외부 샘플 예측 정확도를 크게 향상시키며, 생성 모델이 필요 없이 추정된 동역학에서 시뮬레이션을 가능하게 한다.

ABSTRACT

We introduce <i>mixed LICORS</i>, an algorithm for learning nonlinear, high-dimensional dynamics from spatio-temporal data, suitable for both prediction and simulation. Mixed LICORS extends the recent LICORS algorithm (Goerg and Shalizi, 2012) from hard clustering of predictive distributions to a non-parametric, EM-like soft clustering. This retains the asymptotic predictive optimality of LICORS, but, as we show in simulations, greatly improves out-of-sample forecasts with limited data. The new method is implemented in the publicly-available R package LICORS.

연구 동기 및 목표

• 더 나은 예측 상태 추정을 위해 하드 클러스터링 리코어스 알고리즘의 비모수적 확률적 확장 개발
• 제한된 데이터를 가진 고차원 비선형 시공간 과정에서의 외부 샘플 예측 성능 향상
• 알려진 생성 모델이 필요 없이 추정된 예측 동역학에서 새로운 시공간 과정을 시뮬레이션할 수 있도록 하기
• 확률적 상태 할당과 더 나은 모델 해석 가능성 제공를 위한 하드 클러스터링 대체 소프트 클러스터링 제공
• 비모수적 EM 유사 절차를 사용해 예측 상태 수를 자동으로 선택하기

제안 방법

• 믹스드 리코어스는 각 시공간 지점에서의 예측 분포를 극단 분포의 혼합으로 모델링하며, 혼합 가중치는 예측 상태를 나타낸다.
• 경계 영역(라이트 콘 네ighborhood)을 통계적 충분통계량으로 사용하여 관측 데이터로부터 혼합 가중치와 구성 성분 분포를 추정하는 비모수적 EM 유사 알고리즘을 적용한다.
• 비모수적 구성 성분 밀도 추정을 위해 커널 밀도 추정을 사용하고, EM 프레임워크를 반복적으로 적용하여 상태 할당과 구성 성분 파라미터를 갱신한다.
• 모델 적합도와 복잡도의 균형을 이루는 비모수적 기준을 사용해 예측 상태 수를 자동으로 선택한다.
• 조건부 예측 분포 P(X|S)와 상태 사후분포 P(S|히스토리)를 모두 추정하여 완전한 생성 시뮬레이션을 가능하게 한다.
• 시뮬레이션은 먼저 P(S|히스토리)에서 예측 상태를 샘플링한 후, P(X|S)에서 X를 샘플링함으로써 수행되며, 새로운 초기 조건을 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 시공간 과정에서 하드 클러스터링 대비 소프트 클러스터링이 예측 정확도를 향상시킬 수 있는가?
• RQ2 기본 동역학의 형태를 가정하지 않고도 비모수적 EM 유사 알고리즘이 예측 상태를 효과적으로 추정할 수 있는가?
• RQ3 데이터가 제한된 상황에서 믹스드 리코어스가 진짜 예측 상태 공간을 하드 리코어스보다 더 잘 재구성할 수 있는가?
• RQ4 믹스드 리코어스는 새로운 초기 조건에서 새로운 실현값을 생성할 수 있도록 시공간 과정의 생성 메커니즘을 충분히 학습할 수 있는가?
• RQ5 비모수적 설정에서 예측 상태 수의 자동 선택이 실현 가능하고 효과적인가?

주요 결과

• 믹스드 리코어스는 하드 클러스터링 리코어스에 비해 외부 샘플 예측 정확도를 크게 향상시키며, 특히 데이터가 적은 경우에 두드러진다.
• 이론적 분석과 함께, 알고리즘이 진짜 예측 상태 공간과 동역학을 정확하게 복원함을 입증하였다. 관측된 초기 조건뿐 아니라 새로운 초기 조건에서도 새로운 실현값을 정확하게 시뮬레이션할 수 있었다.
• 믹스드 리코어스에서 추정된 동역학을 사용한 시뮬레이션은 다양한 초기 조건에서 진짜 과정의 정성적 구조를 잘 재현하였다.
• 비모수적 기준을 사용해 예측 상태 수를 자동으로 선택함으로써 사전 설정이 필요 없음을 입증하였다.
• 믹스드 리코어스는 추정된 예측 분포에서 완전한 생성 시뮬레이션을 가능하게 하여, 관측되지 않은 상황에서의 모델 점검과 예측이 가능하다.
• 비모수적 혼합 모델에서 이론적으로 식별 가능성이 어려운 문제에도 불구하고, 믹스드 리코어스는 수렴성 또는 식별 가능성 문제 없이 실용적으로 안정적으로 작동하였다.