[논문 리뷰] Variational approach for learning Markov processes from time series data

Hao Wu, Frank Noé|arXiv (Cornell University)|2017. 07. 14.

Model Reduction and Neural Networks참고 문헌 61인용 수 45

한 줄 요약

이 논문은 시간 시리즈 데이터로부터 최적의 저차원 특징 매핑과 선형 마르코프 모델을 학습하는 데이터 기반 방법인 변분적 마르코프 과정 접근법(Variational Approach for Markov Processes, VAMP)을 소개한다. 쿠퍼만 연산자의 스펙트럼 분해를 활용함으로써 VAMP-$r$ 점수는 모델 최적화를 가능하게 하고, VAMP-E는 초모수 튜닝을 위한 교차검증을 지원하여 가역성, 비가역성, 정상성, 비정상성 과정 모두에서 정확한 동역학 근사가 가능하다.

ABSTRACT

Inference, prediction and control of complex dynamical systems from time series is important in many areas, including financial markets, power grid management, climate and weather modeling, or molecular dynamics. The analysis of such highly nonlinear dynamical systems is facilitated by the fact that we can often find a (generally nonlinear) transformation of the system coordinates to features in which the dynamics can be excellently approximated by a linear Markovian model. Moreover, the large number of system variables often change collectively on large time- and length-scales, facilitating a low-dimensional analysis in feature space. In this paper, we introduce a variational approach for Markov processes (VAMP) that allows us to find optimal feature mappings and optimal Markovian models of the dynamics from given time series data. The key insight is that the best linear model can be obtained from the top singular components of the Koopman operator. This leads to the definition of a family of score functions called VAMP-r which can be calculated from data, and can be employed to optimize a Markovian model. In addition, based on the relationship between the variational scores and approximation errors of Koopman operators, we propose a new VAMP-E score, which can be applied to cross-validation for hyper-parameter optimization and model selection in VAMP. VAMP is valid for both reversible and nonreversible processes and for stationary and non-stationary processes or realizations.

연구 동기 및 목표

• 변분 원리를 활용하여 시간 시리즈 데이터로부터 마르코프 동역학을 학습하는 통합 프레임워크를 개발하는 것.
• 복잡한 비선형 동역학을 저차원 공간에서 선형화하는 최적의 특징 매핑을 식별하는 것.
• 데이터에서 유도된 마르코프 모델의 품질을 수량화하는 점수 함수(VAMP-$r$)를 제공하는 것.
• 초모수 최적화 및 모델 선택을 위한 교차검증 호환 점수인 VAMP-E를 도입하는 것.
• 가역성과 비가역성 과정, 정상성과 비정상성 시스템 모두에 대한 적용 가능성을 확장하는 것.

제안 방법

• 방법은 쿠퍼만 연산자의 스펙트럼 분해에 기반하며, 쿠퍼만 연산자의 주요 특이 성분이 선형 마르코프 근사에 최적의 특징 공간을 정의한다.
• VAMP-$r$는 쿠퍼만 연산자의 특이값에서 유도된 변분 점수로, 특징 매핑과 전이 행렬의 최적화를 가능하게 한다.
• 전체 동역학에 대한 명시적 지식 없이도 시간 지연 상관관계를 사용하여 데이터로부터 쿠퍼만 연산자의 작용을 추정한다.
• 전이 행렬은 시간 지연 상관관계 행렬의 단절된 특이값 분해(SVD)를 통해 구성되며, 쿠퍼만 연산자의 낮은 질서 근사 보장한다.
• VAMP-E는 변분 점수와 근사 오차 간의 관계에서 유도되며, 교차검증을 통한 모델 선택을 가능하게 한다.
• 방법은 이산 및 연속 상태 공간을 모두 지원하며, 경험적 기대값 추정을 통해 비정상 과정을 처리할 수 있다.

실험 결과

연구 질문

• RQ1 시간 시리즈에서 비선형 마르코프 과정을 선형화하는 최적의 특징 매핑을 학습하기 위해 변분 원리를 어떻게 정의할 수 있는가?
• RQ2 모델 선택 및 초모수 튜닝이 가능하도록 선형 마르코프 모델의 품질을 어떻게 수량화할 수 있는가?
• RQ3 쿠퍼만 연산자의 스펙트럼 근사 오차와 모델 최적화에 사용되는 변분 점수 간의 관계는 무엇인가?
• RQ4 이 프레임워크는 비가역성 및 비정상성 동역학계로 확장될 수 있는가?
• RQ5 예측 정확성과 강인성 측면에서 VAMP-$r$ 점수는 기존 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• VAMP-$r$는 특징 공간 내 시간 지연 관측치 간 상관관계를 측정함으로써 마르코프 모델의 품질을 일관되게 수량화하는 점수 함수를 제공한다.
• VAMP-$r$ 점수는 쿠퍼만 연산자의 근사 오차와 직접적으로 관련되어 있어 원칙적인 모델 최적화를 가능하게 한다.
• VAMP-E는 모델의 예측 오차 기대값을 추정함으로써 초모수 선택을 위한 효과적인 교차검증을 가능하게 한다.
• 이중-그라이 시스템 예제에서 낮은 누적 오차(누적 오차 지표에서 오차 ≈ 0.015)를 보이며 장기적 동역학 예측이 정확하게 이루어짐을 입증했다.
• 이 프레임워크는 노이즈와 비선형성이 존재하는 고차원 시간 시리즈로부터 저차원 마르코프 모델을 성공적으로 학습한다.
• 분자 역학, 유체역학, 확률 과정 등 다양한 시스템에서 뛰어난 성능을 보이며, 가역성과 비가역성 동역학 모두에 대해 강인한 성능을 발휘한다.