[論文レビュー] Spectral dimensionality reduction for HMMs

Dean P. Foster, Jordan Rodu+1 more|arXiv (Cornell University)|Mar 28, 2012

Bayesian Methods and Mixture Models参考文献 11被引用数 20

ひとこと要約

本稿は、Hsuら（2009）の高パラメータテンソル $B_x$ を、射影観測値 $y = U^T abla_x$ に依存する低次元テンソル $C(y)$ に置き換えるスペクトル次元削減手法を提案する。これにより、モデルパラメータ数を $m^2v$ から $m^3$ に削減する。この手法は、語彙サイズ $v$ に依存しないサンプル複雑性を達成し、相対誤差の理論的境界が、確認可能なデータ条件と共分散行列の最小特異値 $ abla_m$ のみに依存する。

ABSTRACT

Hidden Markov Models (HMMs) can be accurately approximated using co-occurrence frequencies of pairs and triples of observations by using a fast spectral method in contrast to the usual slow methods like EM or Gibbs sampling. We provide a new spectral method which significantly reduces the number of model parameters that need to be estimated, and generates a sample complexity that does not depend on the size of the observation vocabulary. We present an elementary proof giving bounds on the relative accuracy of probability estimates from our model. (Correlaries show our bounds can be weakened to provide either L1 bounds or KL bounds which provide easier direct comparisons to previous work.) Our theorem uses conditions that are checkable from the data, instead of putting conditions on the unobservable Markov transition matrix.

研究の動機と目的

• スペクトルHMM推定におけるモデルパラメータ数を削減すること、特に観測語彙サイズ $v$ が大きい場合に有効であるようにすること。
• スペクトルHMM学習のサンプル複雑性が観測語彙サイズ $v$ に依存しないようにすること。
• 理論的誤差境界を、観測可能なデータ条件のみに依存する形で開発すること、非観測遷移行列に依存しないようにすること。
• データに基づく確認可能な条件のみを用いることで、スペクトルHMM学習の理論的分析を単純化・強化すること。

提案手法

• ビグラム共起行列のSVDから得られる $U$ を用いて、高次元観測値 $x$ を低次元空間に射影する：$y = U^T \delta_x$。
• 元の $m^2v$ パラメータを持つテンソル $B_x$ を、射影観測値 $y$ に作用する $m^3$ パラメータを持つテンソル $C(y)$ に置き換える。
• 3-gram頻度に対するモーメント法を用いて、十分統計量 $\mu = E(y_1)$、$\Sigma = E(y_2 y_1^T)$、および $K(a) = E(y_3 y_1^T y_2^T a)$ を推定する。
• 推定された $c_1 = \mu$、$c_\infty^\top = \mu^\top \Sigma^{-1}$、および $C(y) = K(y) \Sigma^{-1}$ を用いて、再帰的行列積により系列確率を計算する。
• 直接確率を推定する代わりに、$\lambda_q(x_{1:t}) = \frac{Pr(x_{1:t})}{P_1(x_1)\cdots P_1(x_t)}$ のような尤度比を推定することで数値的安定性を向上させる。
• 未観測遷移行列に依存するのではなく、$\Sigma$ と $\sigma_m$（$\Sigma$ の最小特異値）に関する確認可能なデータ条件に基づいて相対誤差を境界づける。

実験結果

リサーチクエスチョン

• RQ1 スペクトルHMM推定を、パrameter数を $m^2v$ から $m^3$ に削減することで、より効率化できるか？
• RQ2 次元削減を用いることで、スペクトルHMM学習のサンプル複雑性が観測語彙サイズ $v$ に依存しなくなるか？
• RQ3 非観測遷移行列の仮定に依存せず、確認可能なデータ条件のみに依存する理論的誤差境界を導出できるか？
• RQ4 共分散行列 $\Sigma$ の最小特異値 $\sigma_m$ が、HMMの同定可能性とサンプル複雑性にどのように影響するか？
• RQ5 直接確率ではなく尤度比を用いることで、確率推定における数値的不安定性を軽減できるか？

主な発見

• 提案手法により、推定すべきパラメータ数が $m^2v$ から $m^3$ に削減され、$v \gg m$ の場合に顕著な削減が達成される。
• モデルのサンプル複雑性は、共分散行列 $\Sigma$ の最小特異値 $\sigma_m$ に強く依存しており、$\sigma_m$ が小さいほど必要なサンプル数が増加する。
• 実験的結果では、モデルの最小パラメータ $\Lambda$ が $m$ のべき法則的減少（傾き ≈ -6）を示し、$\widehat{\sigma}_m$ も傾き ≈ -3.2 で減少しており、$m$ の増加に伴い同定の難易度が上昇していることが示唆される。
• 相対誤差の理論的境界が、$\Sigma$ と $\sigma_m$ に関する確認可能なデータ条件のみに依存する形で導出されており、従来の研究が非観測遷移行列の仮定に依存していたのを改善している。
• 尤度比を直接確率の代わりに用いることで、数値的安定性が向上し、特に高次元設定において相対的精度が向上する。
• より単純な証明で理論的保証を維持し、L1およびKL境界を補足的に導出可能であり、従来手法と直接比較可能である。