[논문 리뷰] Bayesian inference of time varying parameters in autoregressive processes

Christoph Mark, Claus Metzner외 1명|arXiv (Cornell University)|2014. 05. 07.

Fault Detection and Control Systems참고 문헌 2인용 수 4

한 줄 요약

이 논문은 관측된 데이터 $u_t$만을 사용하여 일阶 시간변동 자동회귀(이하 TVAR(1)) 과정에서 시간에 따라 변하는 매개변수 $q_t$와 $σ_t$를 추정하기 위한 순차적 베이지안 추론 방법을 제안한다. 이 방법은 다양한 창 크기에서 슬라이딩 윈도우 최대우도 추정보다 뛰어난 성능을 보이며, 불확실성 정량화를 위한 전체 사후분포를 제공하고, 이산 숨겨진 상태를 가정하지 않고 점진적 및 급격한 매개변수 변화를 모두 탐지할 수 있다.

ABSTRACT

In the autoregressive process of first order AR(1), a homogeneous correlated time series $u_t$ is recursively constructed as $u_t = q\; u_{t-1} + σ\;ε_t$, using random Gaussian deviates $ε_t$ and fixed values for the correlation coefficient $q$ and for the noise amplitude $σ$. To model temporally heterogeneous time series, the coefficients $q_t$ and $σ_t$ can be regarded as time-dependend variables by themselves, leading to the time-varying autoregressive processes TVAR(1). We assume here that the time series $u_t$ is known and attempt to infer the temporal evolution of the 'superstatistical' parameters $q_t$ and $σ_t$. We present a sequential Bayesian method of inference, which is conceptually related to the Hidden Markov model, but takes into account the direct statistical dependence of successively measured variables $u_t$. The method requires almost no prior knowledge about the temporal dynamics of $q_t$ and $σ_t$ and can handle gradual and abrupt changes of these superparameters simultaneously. We compare our method with a Maximum Likelihood estimate based on a sliding window and show that it is superior for a wide range of window sizes.

연구 동기 및 목표

• 관측된 시간계열 $u_t$로부터 $q_t$와 $σ_t$의 동적 특성에 대한 사전 지식이 없이 TVAR(1) 과정에서 시간에 따라 변하는 상관계수 $q_t$와 잡음 진폭 $σ_t$를 추론하는 것.
• 은폐된 상태가 이산적임을 가정하지 않고 $q_t$와 $σ_t$의 점진적 및 급격한 변화를 동시에 탐지할 수 있는 방법을 개발하는 것. 이는 은폐 마르코프 모델과 같은 이산 상태 모델의 한계를 극복한다.
• 각 시점에서 $p(q_t, σ_t)$의 전체 사후분포를 제공하여 매개변수 추정치의 내재된 불확실성 정량화를 가능하게 하는 것.
• 다양한 창 크기에서 표준 슬라이딩 윈도우 최대우도 추정보다 진정한 시간에 따라 변하는 매개변수를 재구성하는 데서 뛰어난 성능을 보이는 것.

제안 방법

• TVAR(1) 모델의 가능도 $p(u_t | q_t, σ_t, u_{t-1})$에 기반하여 순차적 베이지안 갱신을 통해 사후분포 $p(q_t, σ_t | u_{1:t})$를 계산한다.
• 부드러운 전이(점진적 변화)와 급격한 점프(갑작스러운 이질성)를 동시에 반영하는 커널 기반 사전분포 $K(q_t, σ_t | q_{t-1}, σ_{t-1})$를 사용한다.
• 사후분포를 $q_t$와 $σ_t$에 대한 이산 격자 위에 표현하여, 파라미터 형태에 대한 가정 없이 비정규 및 多모달 분포를 표현할 수 있다.
• 전진-후행 알고리즘을 적용하여 시간 평균 사후분포 $\langle p(q_t, σ_t) \rangle_t$를 계산하며, 이는 매개변수 공간 내의 역학적 제도나 클러스터 식별에 유용하다.
• 제한적인 파라미터 형태를 피하기 위해 격자 기반 근사법을 사용하며, 이는 사후분포 내 다중 모드 탐지가 가능하게 하여 매개변수 전이에 대한 불확실성 표현을 가능하게 한다.
• 커널 $K$에 $q_t$와 $σ_t$의 동적 특성에 대한 사전 지식를 통합함으로써 특정 응용에 맞게 커스터마이징할 수 있다.

실험 결과

연구 질문

• RQ1 관측된 $u_t$로부터 시간에 따라 변하는 매개변수 $q_t$와 $σ_t$를 추론할 수 있는 베이지안 방법은 그들의 시간적 동적 특성에 대해 최소한의 사전 가정을 두고도 가능할까?
• RQ2 제안된 베이지안 추론 방법의 성능은 다양한 창 크기에서 슬라이딩 윈도우 최대우도 추정과 비교해 어떻게 되는가?
• RQ3 이산 숨겨진 상태를 가정하지 않고도 $q_t$와 $σ_t$의 점진적 및 급격한 변화를 탐지할 수 있는가?
• RQ4 각 시점에서의 전체 사후분포 $p(q_t, σ_t)$는 점추정치보다 더 나은 불확실성 정량화를 제공할 수 있는가?
• RQ5 시간 평균 사후분포는 $q_t$와 $σ_t$의 매개변수 공간 내에서 명확한 역학적 제도나 클러스터를 드러낼 수 있는가?

주요 결과

• 모든 테스트 창 크기에서 슬라이딩 윈도우 최대우도 추정보다 낮은 평균 제곱오차(MSE)를 기록하였으며, 평균적으로 MSE 비율 $r < 1$을 기록하였다.
• 상수, 사인파형, 단계적 변화의 세 가지 테스트 케이스 모두에서, 이 방법은 어떤 창 너비로도 MLE를 항상 능가하여 뛰어난 강건성을 입증하였다.
• 이 방법은 $q_t$와 $σ_t$의 급격한 변화를 성공적으로 탐지하였으며, 전이 기간 동안 사후분포가 다중모달성을 보였다.
• 시간 평균 사후분포는 매개변수 공간 내에서 부분적으로 겹치는 클러스터를 포함한 명확한 역학적 제도를 드러내었으며, 이는 이산 상태 모델로는 탐지하기 어려운 영역이다.
• 각 시점에서의 전체 사후분포는 내재된 불확실성 측정을 제공하며, 넓은 분포는 추정의 모호성을 나타낸다.
• 유연한 커널 기반 사전분포와 비모수적 격자 표현 덕분에 진정한 매개변수 동역학이 복잡하거나 알려져 있지 않은 경우에도 이 방법은 효과적으로 작동한다.