[论文解读] Does generalization performance of $l^q$ regularization learning depend on $q$? A negative example

Shao-Bo Lin, Xu Chen+2 more|arXiv (Cornell University)|Jul 25, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用 4

一句话总结

本文研究了在样本相关假设空间框架下的 $l^q$-正则化核学习，并证明对于一大类核函数，所有 $l^q$ 估计器在 $0 < q < \infty$ 时均能达到近乎最优的一般化误差界，这意味着 $q$ 的选择对一般化性能的影响极小。因此，$q$ 可以基于非一般化标准（如稀疏性或计算效率）进行选择，而不会牺牲预测准确性。

ABSTRACT

$l^q$-regularization has been demonstrated to be an attractive technique in machine learning and statistical modeling. It attempts to improve the generalization (prediction) capability of a machine (model) through appropriately shrinking its coefficients. The shape of a $l^q$ estimator differs in varying choices of the regularization order $q$. In particular, $l^1$ leads to the LASSO estimate, while $l^{2}$ corresponds to the smooth ridge regression. This makes the order $q$ a potential tuning parameter in applications. To facilitate the use of $l^{q}$-regularization, we intend to seek for a modeling strategy where an elaborative selection on $q$ is avoidable. In this spirit, we place our investigation within a general framework of $l^{q}$-regularized kernel learning under a sample dependent hypothesis space (SDHS). For a designated class of kernel functions, we show that all $l^{q}$ estimators for $0&lt; q &lt; \infty$ attain similar generalization error bounds. These estimated bounds are almost optimal in the sense that up to a logarithmic factor, the upper and lower bounds are asymptotically identical. This finding tentatively reveals that, in some modeling contexts, the choice of $q$ might not have a strong impact in terms of the generalization capability. From this perspective, $q$ can be arbitrarily specified, or specified merely by other no generalization criteria like smoothness, computational complexity, sparsity, etc..

研究动机与目标

• 研究 $l^q$-正则化核学习的一般化性能是否依赖于 $q$ 的选择。
• 确定是否可以不考虑一般化误差而基于其他标准（如稀疏性或计算复杂度）选择 $q$。
• 在样本相关假设空间框架下，为所有 $q \in (0, \infty)$ 的 $l^q$ 估计器建立一般化误差界。
• 通过比较上下界（仅相差对数因子）评估这些界是否近乎最优。

提出的方法

• 在样本相关假设空间（SDHS）框架内，对 $l^q$-正则化核学习进行形式化分析。
• 在特定类别的核函数下，推导所有 $q \in (0, \infty)$ 的 $l^q$ 估计器的一般化误差界。
• 通过比较一般化误差的上下界来评估最优性，其中上下界仅相差一个对数因子。
• 利用统计学习理论中的理论工具，证明这些界在渐近意义下是紧致的，仅相差对数项。
• 证明误差界在 $q$ 上是统一的，意味着 $q$ 的选择不会导致性能显著差异。
• 依赖核结构和 SDHS 的特性，表明正则化阶 $q$ 不会改变基本的学习能力。

实验结果

研究问题

• RQ1 $l^q$-正则化核学习的一般化性能是否因 $q$ 的不同而显著变化？
• RQ2 $q$ 的选择能否与一般化性能解耦，从而允许基于辅助标准进行选择？
• RQ3 在所有 $q \in (0, \infty)$ 下，$l^q$ 估计器的一般化误差界是否近乎最优？
• RQ4 在 SDHS 框架下，$l^q$ 估计器的一般化误差上下界在多大程度上一致？

主要发现

• 在指定的核类下，所有 $l^q$ 估计器在 $0 < q < \infty$ 时均达到相似的一般化误差界。
• 推导出的一般化误差上下界在渐近意义下仅相差一个对数因子，表明其近乎最优。
• 一般化性能在很大程度上与 $q$ 的选择无关，表明 $q$ 可基于非一般化因素（如稀疏性或计算成本）进行选择。
• 理论框架证实，在 SDHS 设置下，$l^q$ 正则化不会在预测能力上偏向任何特定的 $q$。
• 结果表明，$q$ 的选择可以简化，因为在该背景下其对一般化误差的影响并不显著。
• 研究结果支持选择在计算或结构上更有利的 $q$ 值，例如 $q=1$ 以实现稀疏性，或 $q=2$ 以实现平滑性，而不会损害预测性能。