[论文解读] Dimension-free Concentration Bounds on Hankel Matrices for Spectral Learning

François Denis, Mattias Gybels+1 more|arXiv (Cornell University)|Dec 21, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用 11

一句话总结

本文提出了用于谱学习中概率自动机的Hankel矩阵的无维浓度界限，证明了经验Hankel矩阵围绕其均值的浓度不会随矩阵尺寸增大而恶化。通过推导原始分布、其前缀函数和因子函数（及其参数化变体）的界限，研究表明可使用更大的Hankel矩阵而不损失准确性，从而挑战了为计算原因而限制矩阵尺寸的常见做法。

ABSTRACT

Learning probabilistic models over strings is an important issue for many applications. Spectral methods propose elegant solutions to the problem of inferring weighted automata from finite samples of variable-length strings drawn from an unknown target distribution. These methods rely on a singular value decomposition of a matrix $H_S$, called the Hankel matrix, that records the frequencies of (some of) the observed strings. The accuracy of the learned distribution depends both on the quantity of information embedded in $H_S$ and on the distance between $H_S$ and its mean $H_r$. Existing concentration bounds seem to indicate that the concentration over $H_r$ gets looser with the size of $H_r$, suggesting to make a trade-off between the quantity of used information and the size of $H_r$. We propose new dimension-free concentration bounds for several variants of Hankel matrices. Experiments demonstrate that these bounds are tight and that they significantly improve existing bounds. These results suggest that the concentration rate of the Hankel matrix around its mean does not constitute an argument for limiting its size.

研究动机与目标

• 解决谱学习加权自动机过程中信息保留与矩阵尺寸之间的权衡问题。
• 克服现有浓度界限随Hankel矩阵维度增加而恶化的局限性。
• 为源自原始分布、其前缀函数和因子函数的Hankel矩阵建立无维界限。
• 引入前缀函数和因子函数的参数化变体，以平衡信息利用与浓度速率。
• 通过实证结果证明，更大的Hankel矩阵可带来更高的模型准确性，且界限紧密，显著优于先前工作。

提出的方法

• 利用近期的随机矩阵理论，推导经验Hankel矩阵与期望Hankel矩阵之间差值的谱范数的无维浓度不等式。
• 引入两组参数化族：$\overline{p}_{\eta}$ 和 $\widehat{p}_{\eta}$，在原始分布 $p$ 与其前缀或因子函数之间进行插值。
• 建立 $H_S^{U,V}$、$H_S^{\overline{p}_\eta}$ 和 $H_S^{\widehat{p}_\eta}$ 的浓度界限，且这些界限与矩阵维度无关。
• 使用真实与估计的右奇异向量张成的子空间之间的主角度作为模型准确性的度量。
• 应用归一化距离度量 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$ 来评估学习子空间与真实子空间的接近程度。
• 在PAutomaC基准的11个问题上，评估不同矩阵尺寸（最大3,000行）下的界限与模型性能。

实验结果

研究问题

• RQ1 随着矩阵尺寸增加，经验Hankel矩阵围绕其均值的浓度是否会恶化？
• RQ2 能否为源自原始分布、其前缀函数和因子函数的Hankel矩阵建立无维浓度界限？
• RQ3 参数化变体 $\overline{p}_\eta$ 和 $\widehat{p}_\eta$ 如何影响信息利用与浓度速率之间的权衡？
• RQ4 在子空间对齐的度量下，更大的Hankel矩阵在多大程度上提升了谱学习的准确性？
• RQ5 所提出的界限在实证中是否足够紧密，并显著优于现有界限？

主要发现

• 对于 $H_S^{U,V}$、$H_S^{\overline{p}_\eta}$ 和 $H_S^{\widehat{p}_\eta}$，无维浓度界限显著优于现有界限，即使在固定矩阵维度下亦如此。
• 在除两个问题外的所有问题中，当使用最大矩阵尺寸（3,000行）时，经验Hankel矩阵的右奇异向量张成的子空间最接近真实子空间。
• 对于大多数问题，归一化距离度量 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$ 随矩阵尺寸增加而减小，表明子空间对齐性改善。
• 主角度余弦之和随矩阵尺寸增加而上升，最大达45.68，表明与真实子空间的对齐性更强。
• $\overline{p}_\eta$ 和 $\widehat{p}_\eta$ 的界限允许在信息利用与浓度速率之间实现可控权衡，最佳性能出现在中间 $\eta$ 值处。
• 结果表明，限制Hankel矩阵尺寸并非由浓度行为所支持，矩阵尺寸应仅由计算限制决定。