[论文解读] Dimensionality-Dependent Generalization Bounds for $k$-Dimensional Coding Schemes

Tongliang Liu, Dacheng Tao+1 more|arXiv (Cornell University)|Jan 3, 2016

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文通过限制由重构误差诱导的损失函数类的覆盖数，为 $k$-维编码方案（如 NMF、字典学习和 $k$-均值）提出了依赖于维度的泛化界。该界为 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 阶，当数据处于有限维空间时，尤其在 $k > m$ 的情况下，由于避免了最坏情况下的 $k$-依赖性，其紧致性优于维度无关的界。

ABSTRACT

The $k$-dimensional coding schemes refer to a collection of methods that attempt to represent data using a set of representative $k$-dimensional vectors, and include non-negative matrix factorization, dictionary learning, sparse coding, $k$-means clustering and vector quantization as special cases. Previous generalization bounds for the reconstruction error of the $k$-dimensional coding schemes are mainly dimensionality independent. A major advantage of these bounds is that they can be used to analyze the generalization error when data is mapped into an infinite- or high-dimensional feature space. However, many applications use finite-dimensional data features. Can we obtain dimensionality-dependent generalization bounds for $k$-dimensional coding schemes that are tighter than dimensionality-independent bounds when data is in a finite-dimensional feature space? The answer is positive. In this paper, we address this problem and derive a dimensionality-dependent generalization bound for $k$-dimensional coding schemes by bounding the covering number of the loss function class induced by the reconstruction error. The bound is of order $\mathcal{O}\left(\left(mk\ln(mkn)/n ight)^{λ_n} ight)$, where $m$ is the dimension of features, $k$ is the number of the columns in the linear implementation of coding schemes, $n$ is the size of sample, $λ_n>0.5$ when $n$ is finite and $λ_n=0.5$ when $n$ is infinite. We show that our bound can be tighter than previous results, because it avoids inducing the worst-case upper bound on $k$ of the loss function and converges faster. The proposed generalization bound is also applied to some specific coding schemes to demonstrate that the dimensionality-dependent bound is an indispensable complement to these dimensionality-independent generalization bounds.

研究动机与目标

• 解决在有限维特征空间中，$k$-维编码方案缺乏紧致且依赖维度的泛化界的问题。
• 克服现有维度无关界在 $k$ 相对于数据维度 $m$ 较大时可能过松的局限性。
• 通过利用重构误差的共享结构特性，建立一个适用于多种编码方案（如 NMF、$k$-均值、稀疏编码）的通用框架。
• 证明基于覆盖数的分析可避免对 $k$ 的最坏情况依赖，从而在有限维设置下获得更紧致的界。

提出的方法

• 将 $k$-维编码方案形式化为线性映射 $T \in \mathbb{R}^{m \times k}$，其目标是最小化重构误差 $f_T(x) = \min_{y \in Y} \|x - Ty\|^2$。
• 利用度量熵和 $T$ 的 $\ell_p$-范数近似，界定损失函数类 $\mathcal{F}_{\mathcal{T}}$ 的覆盖数。
• 应用 Bennett 不等式，推导出阶为 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 的泛化界，其中 $\lambda_n > 0.5$ 对于有限 $n$ 成立。
• 构造 $T$ 矩阵的有限 $\xi$-网 $\mathcal{S}$，以控制覆盖数 $\mathcal{N}_1(F_{\mathcal{T}}, \xi', n)$，确保损失函数的统一近似。
• 利用柯西-施瓦茨不等式和三角不等式，将差值 $|f_T(x) - f_{T'}(x)|$ 以 $\|T - T'\|_F$ 和数据范数的形式界定。
• 建立覆盖数满足 $\mathcal{N}_1(F_{\mathcal{T}}, \xi', n) \leq \left(\frac{C}{\xi'}\right)^{mk}$，其中 $C$ 依赖于数据和码书约束。

实验结果

研究问题

• RQ1 能否为 $k$-维编码方案推导出依赖于维度的泛化界，使其在有限维设置下比现有的维度无关界更紧致？
• RQ2 损失函数类的覆盖数与 $k$-维编码方案中的泛化误差之间有何关系？
• RQ3 码书向量数量 $k$ 和数据维度 $m$ 对泛化界紧致性有何影响？
• RQ4 所提出的界是否可统一应用于 NMF、$k$-均值和稀疏编码等不同编码方案？
• RQ5 在界中避免对 $k$ 的最坏情况依赖，是否能在 $k > m$ 时带来显著改进？

主要发现

• 所提出的泛化界为 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 阶，其中 $\lambda_n > 0.5$ 对于有限 $n$ 成立，且在样本无限极限下 $\lambda_n = 0.5$。
• 通过使用覆盖数分析，该界避免了对 $k$ 的最坏情况依赖，因此在 $k > m$ 时显著优于维度无关的界。
• 对于 $k$-均值聚类和向量量化，覆盖数被界为 $\left(\frac{8r^2\sqrt{m}}{\xi'}\right)^{mk}$，其中 $r$ 为 $Te_i$ 的最大范数。
• 该方法通过直接分析损失函数类，而非依赖于对 $k$ 的最坏情况上确界，实现了比先前方法更紧致的界。
• 由于共享的重构误差结构，该界适用于多种编码方案，包括 NMF、字典学习、稀疏编码、$k$-均值和向量量化。
• 实证结果表明，当 $k$ 超过 $m$ 时，该维度依赖的界优势愈发明显，尤其在具有结构化码书的高维数据中。