[논문 리뷰] Autoregressive Kernels For Time Series

Marco Cuturi, Randal Douc|arXiv (Cornell University)|2011. 01. 04.

Blind Source Separation Techniques참고 문헌 47인용 수 33

한 줄 요약

이 논문은 벡터 자기회귀(VAR) 모델의 우도를 특징으로 활용하고, 행렬 정규-역와이소르트 분포 사전을 통합하여 양의 정부호성을 보장함으로써 시간 시리즈를 위한 자기회귀 커널($k_{\text{ar}}$ 및 $k_{\text{ar}}^{\kappa}$)을 제안한다. 이 방법은 길이가 변하는 시간 시리즈, 특히 구조화된 데이터에 대해 효율적이고 확장 가능한 커널 계산을 가능하게 하며, 다른 방법들과 비교해 낮은 계산 비용으로 분류 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose in this work a new family of kernels for variable-length time series. Our work builds upon the vector autoregressive (VAR) model for multivariate stochastic processes: given a multivariate time series x, we consider the likelihood function p_θ(x) of different parameters θin the VAR model as features to describe x. To compare two time series x and x', we form the product of their features p_θ(x) p_θ(x') which is integrated out w.r.t θusing a matrix normal-inverse Wishart prior. Among other properties, this kernel can be easily computed when the dimension d of the time series is much larger than the lengths of the considered time series x and x'. It can also be generalized to time series taking values in arbitrary state spaces, as long as the state space itself is endowed with a kernel κ. In that case, the kernel between x and x' is a a function of the Gram matrices produced by κon observations and subsequences of observations enumerated in x and x'. We describe a computationally efficient implementation of this generalization that uses low-rank matrix factorization techniques. These kernels are compared to other known kernels using a set of benchmark classification tasks carried out with support vector machines.

연구 동기 및 목표

• 변수 길이의 다변량 시간 시리즈를 위한 양의 정부호 커널을 개발하여 SVM과 같은 커널 머신에 활용 가능하게 하는 것.
• 기본 커널 $\kappa$를 통해 시간 시리즈의 구조화된 객체(예: 이미지, 그래프)를 처리할 수 있도록 커널을 일반화하는 것.
• 특히 시간 시리즈의 차원 $d$가 시퀀스 길이에 비해 클 경우의 계산 효율성을 확보하는 것.
• 기존 커널의 한계를 극복하기 위해, DTW와 같이 본질적으로 양의 정부호가 아니며 수시로 정규화를 추가로 적용해야 하는 것.
• 지수족 분포와 무한 나누어짐 성질을 기반으로 한 확률론적 프레임워크를 통해 시간 시리즈 커널 설계에 체계적이고 이론적인 기반을 마련하는 것.

제안 방법

• 커널 $k_{\text{ar}}$는 매개변수 공간 $\theta$ 위에서 VAR 우도 $p_{\theta}(\mathbf{x}) \cdot p_{\theta}(\mathbf{x}')$의 곱을 적분하여 정의되며, 양의 정부호성을 보장하기 위해 행렬 정규-역와이소르트 사전을 사용한다.
• 커널 $k_{\text{ar}}^{\kappa}$는 관측값을 스칼라에서 $\kappa$를 기반으로 한 커널 행렬 $\mathcal{K} = [\kappa(x_i, x_j')]$로 대체함으로써 $k_{\text{ar}}$를 구조화된 데이터에 일반화한다.
• 저랭크 행렬 분해를 통해 $k_{\text{ar}}^{\kappa}$의 그램 행렬을 근사함으로써, 행렬 행렬식 계산의 높은 비용에도 불구하고 효율적인 계산을 가능하게 한다.
• 커널의 무한 나누어짐 성질을 보장함으로써, 커널 머신과 힐버트 공간 임bedding에서 실용적으로 유용한 성질을 확보한다.
• 특징 맵 $\varphi_{\text{var}}$와 $\varphi_{\text{var}}^{\kappa}$의 정규화를 통해 그 로그를 직접 힐버트 거리로 사용할 수 있도록 한다.
• Seeger(2002)의 공분산 커널 프레임워크를 기반으로 하되, 역동성의 확률적 모델링을 통해 시간 시리즈에 특화된 방식으로 확장한다.

실험 결과

연구 질문

• RQ1 VAR 모델의 우도에서 유도된 커널이 베이지안 통합을 통해 양의 정부호로 만들 수 있는가? 이는 커널 머신에서의 활용 가능성을 보장한다.
• RQ2 기본 커널 $\kappa$를 사용하여 이러한 커널을 이미지나 그래프와 같은 구조화된 데이터의 시간 시리즈에 일반화할 수 있는가?
• RQ3 제안된 커널은 기존의 Global Alignment 커널이나 DTW 기반 방법과 비교해 계산 효율성이 어떻게 되는가?
• RQ4 제안된 커널은 경쟁 커널보다 훨씬 빠르면서도 강력한 분류 성능를 유지하는가?
• RQ5 특히 자유도 $\lambda > d-1$일 경우, 다양한 초모수 설정에서 커널의 무한 나누어짐 성질이 유지되는가?

주요 결과

• 자기회귀 커널 $k_{\text{ar}}$는 토이 데이터셋에서 테스트 오차가 0이 되었으며, 분류 정확도에서 다른 커널들을 능가했다.
• 기준 데이터셋에서 $k_{\text{ar}}$는 종종 강력한 베이스라인으로 여겨지는 Global Alignment 커널과 비교해 유사하거나 우수한 성능을 보였다.
• 계산 효율성 측면에서 $k_{\text{ar}}$는 $k_{\text{GA}}^{\kappa}$보다 평균 평가 시간이 현저히 낮아, 특히 대규모 데이터셋에서 유리했다.
• $k_{\text{ar}}^{\kappa}$에서 $\varphi_{\text{var}}^{\kappa}$의 저랭크 근사화를 통해 $\tau$ 매개변수를 조절함으로써 정확도를 유연하게 조절할 수 있었으며, 높은 정확도 설정에서도 성능에 거의 영향을 주지 않았다.
• 높은 계산 비용에도 불구하고, 시간에 따라 변하는 히스토GRAM으로 표현되는 비디오 세그먼트와 같은 구조화된 데이터에 대해 $k_{\text{ar}}^{\kappa}$는 특히 유용할 수 있다.
• 저자들은 $\kappa$가 고차원 데이터에 대해 가우시안 커널일 경우, $k_{\text{ar}}^{\kappa}$의 결과가 $k_{\text{ar}}$와 유사할 수 있으며, 이는 그람 행렬의 스펙트럼 유사성 때문이므로 일부 설정에서는 중복성이 존재할 수 있음을 지적했다.