[論文レビュー] Dimension-free Concentration Bounds on Hankel Matrices for Spectral Learning

François Denis, Mattias Gybels+1 more|arXiv (Cornell University)|Dec 21, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用数 11

ひとこと要約

本稿では、確率的オートマトンのスペクトル学習に用いられるヘンケル行列に対する次元に依存しない集中バウンドを導入し、標本ヘンケル行列の平均周りの集中が行列サイズに伴って悪化しないことを示している。元の分布、その接頭辞関数、および因子関数（およびパラメータ化されたバージョン）に対するバウンドを導出することで、計算上の理由から行列サイズを制限する一般的な慣習に反して、より大きなヘンケル行列を精度を損なわずに使用可能であることを示している。

ABSTRACT

Learning probabilistic models over strings is an important issue for many applications. Spectral methods propose elegant solutions to the problem of inferring weighted automata from finite samples of variable-length strings drawn from an unknown target distribution. These methods rely on a singular value decomposition of a matrix $H_S$, called the Hankel matrix, that records the frequencies of (some of) the observed strings. The accuracy of the learned distribution depends both on the quantity of information embedded in $H_S$ and on the distance between $H_S$ and its mean $H_r$. Existing concentration bounds seem to indicate that the concentration over $H_r$ gets looser with the size of $H_r$, suggesting to make a trade-off between the quantity of used information and the size of $H_r$. We propose new dimension-free concentration bounds for several variants of Hankel matrices. Experiments demonstrate that these bounds are tight and that they significantly improve existing bounds. These results suggest that the concentration rate of the Hankel matrix around its mean does not constitute an argument for limiting its size.

研究の動機と目的

• 重み付きオートマトンのスペクトル学習における情報保持と行列サイズのトレードオフを扱う。
• ヘンケル行列の次元が増加するにつれて悪化する既存の集中バウンドの制限を克服する。
• 元の分布、その接頭辞関数、および因子関数から導かれるヘンケル行列に対する次元に依存しないバウンドを確立する。
• 接頭辞関数および因子関数のパラメータ化されたバージョンを導入し、情報活用と集中レートのバランスを取る。
• 実験的に、より大きなヘンケル行列がより高いモデル精度をもたらすことを示し、バウンドがタイトでかつ先行研究を著しく上回ることを確認する。

提案手法

• 最近の確率的行列理論を用いて、標本ヘンケル行列と期待ヘンケル行列の差のスペクトルノルムに対する次元に依存しない集中不等式を導出する。
• 元の分布 $p$ とその接頭辞関数または因子関数の間を補間する2つのパラメータ化された族 $\overline{p}_{\eta}$ と $\widehat{p}_{\eta}$ を導入する。
• 行列次元に依存しない $H_S^{U,V}$、$H_S^{\overline{p}_\eta}$、および $H_S^{\widehat{p}_\eta}$ の集中バウンドを確立する。
• 真の右特異ベクトルと推定された右特異ベクトルが張る部分空間間の主角度を、モデル精度の指標として用いる。
• 学習済み部分空間と真の部分空間の近さを評価するために、正規化された距離測度 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$ を適用する。
• 3,000行まで varying な行列サイズを用いて、PAutomaCベンチマークの11の問題に対してバウンドとモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標本ヘンケル行列の平均周りの集中は、行列サイズの増加に伴って悪化するか？
• RQ2 元の分布、その接頭辞関数、および因子関数から導かれるヘンケル行列に対して、次元に依存しない集中バウンドを確立できるか？
• RQ3 パラメータ化されたバージョン $\overline{p}_\eta$ と $\widehat{p}_\eta$ は、情報活用と集中レートのトレードオフにどのように影響するか？
• RQ4 部分空間の整合性を指標として用いた場合、より大きなヘンケル行列はどれほどスペクトル学習の精度を向上させるか？
• RQ5 提案されたバウンドは実験的にタイトであり、既存のバウンドを著しく上回るか？

主な発見

• $H_S^{U,V}$、$H_S^{\overline{p}_\eta}$、および $H_S^{\widehat{p}_\eta}$ の次元に依存しない集中バウンドは、固定された行列次元に対しても、既存のバウンドよりも著しくタイトである。
• 2つの問題を除き、すべての問題で、最大の行列サイズ（3,000行）を使用した場合、標本ヘンケル行列の右特異ベクトルが張る部分空間が真の部分空間に最も近づく。
• 大部分の問題において、正規化された距離測度 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$ は行列サイズの増加に伴って減少し、部分空間の整合性が向上していることを示している。
• 主角度の余弦の和は行列サイズの増加に伴い増加し、最大で45.68に達し、真の部分空間との強い整合性を示している。
• $\overline{p}_\eta$ および $\widehat{p}_\eta$ のバウンドにより、情報活用と集中レートの制御されたトレードオフが可能となり、最良の性能は中間の $\eta$ 値で観察された。
• 結果から、ヘンケル行列のサイズ制限は集中の挙動によって正当化されず、計算上の制限のみが行列サイズを決定すべきであることが示唆される。