[논문 리뷰] Derivation of an EM algorithm for constrained and unconstrained multivariate autoregressive state-space (MARSS) models

Elizabeth E. Holmes|arXiv (Cornell University)|2013. 02. 16.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 33

한 줄 요약

이 논문은 제약 조건이 있는 및 없는 다변량 자기회귀 상태공간(MARSS) 모델에서 최대우도 추정을 위한 일반적인 기대최대화(EM) 알고리즘을 제시한다. 선형 재매개변수화를 통해 유연한 매개변수 제약 조건을 구현할 수 있으며, 결측 데이터, 시간에 따라 변하는 매개변수, 열악한(부분적으로 결정론적인) 시스템을 처리한다. 초기 상태 사전분포의 잘못된 설정에 대한 강건성을 향상시키기 위해 초기 상태를 랜덤 효과가 아닌 추정 매개변수로 간주한다.

ABSTRACT

This report presents an Expectation-Maximization (EM) algorithm for estimation of the maximum-likelihood parameter values of constrained multivariate autoregressive Gaussian state-space (MARSS) models. The MARSS model can be written: x(t)=Bx(t-1)+u+w(t), y(t)=Zx(t)+a+v(t), where w(t) and v(t) are multivariate normal error-terms with variance-covariance matrices Q and R respectively. MARSS models are a class of dynamic linear model and vector autoregressive state-space model. Shumway and Stoffer presented an unconstrained EM algorithm for this class of models in 1982, and a number of researchers have presented EM algorithms for specific types of constrained MARSS models since then. In this report, I present a general EM algorithm for constrained MARSS models, where the constraints are on the elements within the parameter matrices (B,u,Q,Z,a,R). The constraints take the form vec(M)=f+Dm, where M is the parameter matrix, f is a column vector of fixed values, D is a matrix of multipliers, and m is the column vector of estimated values. This allows a wide variety of constrained parameter matrix forms. The presentation is for a time-varying MARSS model, where time-variation enters through the fixed (meaning not estimated) f(t) and D(t) matrices for each parameter. The algorithm allows missing values in y and partially deterministic systems where 0s appear on the diagonals of Q or R. Open source code for estimating MARSS models with this algorithm is provided in the MARSS R package on the Comprehensive R Archive Network (CRAN).

연구 동기 및 목표

• 제약 조건이 있는 및 없는 모든 MARSS 모델에 대해 통합된 EM 알고리즘을 개발하여 다양한 매개변수 제약 조건을 수용한다.
• MARSS 모델에서 초기 상태 사전분포가 잘못 설정될 경우 발생하는 편향 또는 일致하지 않는 최대우도 추정 문제를 해결한다.
• 관측 벡터의 결측치와 결정론적 성분(예: Q 또는 R의 분산이 0인)을 포함한 열악한 시스템을 다룰 수 있도록 EM 알고리즘을 확장한다.
• 반복적인 칼만 필터링이 필요하지 않은 계산적으로 효율적인 프레임워크를 제공하여, 안정성 우선일 경우를 제외하고는 매개변수 갱신 간에 칼만 필터링을 반복하지 않는다.
• 사용자가 초기 상태를 고정된 매개변수로 추정할 수 있도록 하여, 잠재적으로 일致하지 않는 사전공분산 구조에 대한 의존도를 제거한다.

제안 방법

• 일반적인 매개변수 제약 조건 형태를 사용: vec(M) = f + Dm, 여기서 M은 매개변수 행렬, f는 고정된 벡터, D는 설계 행렬, m은 추정된 값의 벡터이다.
• 숨겨진 상태를 결측 데이터로 간주하고 기대완전데이터 로그우도를 반복적으로 계산하고 최대화함으로써 EM 알고리즘을 유도한다.
• 현재 매개변수 추정치 하에서 기대 충분통계량(예: 보정된 상태 평균 및 공분산)을 계산하기 위해 칼만 필터와 스무딩을 적용한다.
• f(t)와 D(t)를 시간에 따라 변화시켜 시간에 따라 변하는 매개변수를 처리함으로써 시스템 매개변수의 동적 모델링을 가능하게 한다.
• 초기 상태 x₀를 랜덤 변수의 사전분포가 아닌 고정된 추정 매개변수로 간주함으로써, 최대우도 추정치에 대한 사전분포 유도 편향을 방지한다.
• 안전 모드(control$safe=TRUE)를 구현하여 매 매개변수 갱신 후 칼만 필터/스무딩을 재계산함으로써 우도 감소를 방지한다.

실험 결과

연구 질문

• RQ1 어떻게 임의의 선형 제약 조건을 가진 매개변수 행렬에 대해 일반적인 EM 알고리즘을 MARSS 모델에 유도할 수 있는가?
• RQ2 진짜 모델이 비대칭 공분산 구조를 암시할 때, 초기 상태에 대해 흩어진 또는 고정된 사전분포를 사용하는 것이 의미하는 바는 무엇인가?
• RQ3 MARSS 모델의 EM 프레임워크 내에서 관측 벡터의 결측치는 어떻게 다룰 수 있는가?
• RQ4 초기 상태를 고정된 추정 매개변수로 간주함으로써, 사전분포를 사용하는 것과 비교해 최대우도 추정의 강건성이 어떻게 향상되는가?
• RQ5 EM 알고리즘이 진짜 최대우도 추정치로 수렴하지 못하는 조건는 무엇이며, 이러한 실패는 어떻게 감지하고 완화할 수 있는가?

주요 결과

• 제안된 EM 알고리즘은 시간에 따라 변하는 매개변수와 관측값의 결측치를 포함한 광범위한 제약 조건이 있는 MARSS 모델을 성공적으로 처리한다.
• 초기 상태를 랜덤 변수의 사전분포가 아닌 고정된 추정 매개변수로 간주함으로써, 사전분포 잘못 설정에 의한 편향 위험을 크게 줄일 수 있다.
• 초기 상태가 직접적으로 추정된다면, 사전분포의 잘못된 상관관계 구조가 있어도 알고리즘이 강건하게 유지된다.
• 희미한 사전분포를 사용한다고 해서 사전분포에 기인한 상관관계 구조가 완전히 제거되지 않으며, 따라서 초기 상태 가정이 맞지 않을 경우 발생하는 문제를 완전히 해결할 수 없다.
• 뉴턴 유사 추정치로 초기화할 때 우도 변화를 모니터링함으로써 사전분포 관련 문제를 감지할 수 있다. 우도 감소는 사전분포의 일致성 부족을 시사한다.
• 기본 구현은 효율성을 위해 매개변수 갱신 간에 칼만 필터 재계산을 건너뛴다. 그러나 사용자는 안전 모드를 활성화하여 우도가 단조롭게 증가하도록 보장할 수 있다.