[논문 리뷰] Spectral dimensionality reduction for HMMs

Dean P. Foster, Jordan Rodu외 1명|arXiv (Cornell University)|2012. 03. 28.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 20

한 줄 요약

이 논문은 관측 어휘 크기 $v$가 클 경우에 특히 효과적인 은닉 마르코프 모델(HMM)을 위한 스펙트럼 차원 축소 방법을 제안한다. Hsu 등(2009)의 높은 파rameter 수를 가진 텐서 $B_x$를, 투영된 관측값 $y = U^T abla_x$ 에 따라 변하는 낮은 차원의 텐서 $C(y)$ 로 대체함으로써 모델 파arameter 수를 $m^2v$ 에서 $m^3$ 으로 감소시킨다. 이 방법은 어휘 크기 $v$ 와 무관한 표본 복잡도를 달성하며, 이론적 상대 오차 경계는 관측 가능한 데이터 조건과 공분산 행렬의 최소 특이값 $ abla_m$ 에만 의존한다.

ABSTRACT

Hidden Markov Models (HMMs) can be accurately approximated using co-occurrence frequencies of pairs and triples of observations by using a fast spectral method in contrast to the usual slow methods like EM or Gibbs sampling. We provide a new spectral method which significantly reduces the number of model parameters that need to be estimated, and generates a sample complexity that does not depend on the size of the observation vocabulary. We present an elementary proof giving bounds on the relative accuracy of probability estimates from our model. (Correlaries show our bounds can be weakened to provide either L1 bounds or KL bounds which provide easier direct comparisons to previous work.) Our theorem uses conditions that are checkable from the data, instead of putting conditions on the unobservable Markov transition matrix.

연구 동기 및 목표

• 관측 어휘 크기 $v$ 가 클 경우에 특히 효과적인 스펙트럼 HMM 추정에서 모델 파arameter 수를 줄이는 것.
• 표본 복잡도가 관측 어휘 크기 $v$ 에 의존하지 않도록 하는 것.
• 관측 가능한 데이터 조건에만 의존하는 상대 오차 이론적 경계를 개발하는 것, 비관측 전이 행렬에 대한 가정은 배제한다.
• 비관측 전이 행렬에 대한 가정 없이도 단순화되고 강화된 스펙트럼 HMM 학습 이론 분석을 가능하게 하는 것.

제안 방법

• 빅램 공출현 행렬의 SVD를 통해 유도된 $U$ 를 사용하여 고차원 관측값 $x$ 를 저차원 공간으로 투영한다: $y = U^T \delta_x$.
• 원래의 $m^2v$ 파arameter 텐서 $B_x$ 를, 투영된 관측값 $y$ 에 작용하는 저차원 $m^3$ 파arameter 텐서 $C(y)$ 로 대체한다.
• 삼중어 빈도에 대한 모멘트 방법을 사용하여 충분통계량 $\mu = E(y_1)$, $\Sigma = E(y_2 y_1^T)$, 및 $K(a) = E(y_3 y_1^T y_2^T a)$ 를 추정한다.
• 추정된 $c_1 = \mu$, $c_\infty^\top = \mu^\top \Sigma^{-1}$, 및 $C(y) = K(y) \Sigma^{-1}$ 를 사용하여 재귀적 행렬 곱셈을 통해 시퀀스 확률을 계산한다.
• 원시 확률 대신 확률 비율 $\lambda_q(x_{1:t}) = \frac{Pr(x_{1:t})}{P_1(x_1)\cdots P_1(x_t)}$ 를 추정하여 수치 안정성을 향상시킨다.
• 비관측 전이 행렬 대신 $\Sigma$ 와 $\sigma_m$ (행렬 $\Sigma$ 의 최소 특이값) 에 대한 점검 가능한 조건을 사용하여 상대 오차를 경계한다.

실험 결과

연구 질문

• RQ1 관측 어휘 크기 $v$ 가 클 경우 스펙트럼 HMM 추정의 효율성을 $m^2v$ 에서 $m^3$ 으로 파arameter 수를 줄임으로써 향상시킬 수 있는가?
• RQ2 차원 축소를 사용할 경우 스펙트럼 HMM 학습의 표본 복잡도가 관측 어휘 크기 $v$ 에 의존하지 않는가?
• RQ3 비관측 전이 행렬에 대한 가정 없이도 관측 가능한 데이터 조건에만 의존하는 이론적 오차 경계를 유도할 수 있는가?
• RQ4 공분산 행렬 $\Sigma$ 의 최소 특이값 $\sigma_m$ 이 HMM의 식별성과 표본 복잡도에 어떤 영향을 미치는가?
• RQ5 원시 확률 대신 확률 비율을 사용함으로써 수치적 불안정성을 완화시킬 수 있는가?

주요 결과

• 제안된 방법은 추정해야 할 파arameter 수를 $m^2v$ 에서 $m^3$ 으로 줄여, $v \gg m$ 인 경우에 크게 감소시킨다.
• 모델의 표본 복잡도는 공분산 행렬 $\Sigma$ 의 최소 특이값 $ abla_m$ 에 크게 의존하며, $ abla_m$ 이 작을수록 더 많은 표본이 필요하다.
• 실험 결과, 모델의 최소 파arameter인 $\Lambda$ 는 $m$ 의 거듭제곱 법칙에 따라 감소하며(기울기 ≈ -6), $ abla_m$ 은 기울기 ≈ -3.2 로 감소하여 $m$ 이 증가함에 따라 식별의 어려움이 증가함을 시사한다.
• 이론적 상대 오차 경계는 공분산 행렬 $\Sigma$ 와 $ abla_m$ 에 대한 점검 가능한 조건에만 기반하며, 이는 이전 연구에서 비관측 전이 행렬에 대한 가정에 의존했던 것에 비해 향상된 것이다.
• 원시 확률 대신 확률 비율을 사용함으로써 수치 안정성이 향상되고, 특히 고차원 설정에서 상대 정확도가 향상된다.
• 더 단순한 증명을 통해 이론적 보장을 유지하며, L1 및 KL 경계를 직접적으로 이전 방법과 비교할 수 있도록 보조정리를 제공한다.