[论文解读] An Inequality with Applications to Structured Sparsity and Multitask Dictionary Learning

Andreas Maurer, Massimiliano Pontil+1 more|arXiv (Cornell University)|Feb 8, 2014

Sparse and Compressive Sensing Techniques参考文献 17被引用 8

一句话总结

本文提出了一种新型不等式，用于在多任务学习和稀疏字典学习中界定结构化函数类的Rademacher复杂度。通过利用数据协方差矩阵的最大特征值并结合基于分解的方法，推导出更紧致的风险界，揭示了多任务学习如何缓解高维设置下的维度灾难，尤其是在样本有限的情况下。

ABSTRACT

From concentration inequalities for the suprema of Gaussian or Rademacher processes an inequality is derived. It is applied to sharpen existing and to derive novel bounds on the empirical Rademacher complexities of unit balls in various norms appearing in the context of structured sparsity and multitask dictionary learning or matrix factorization. A key role is played by the largest eigenvalue of the data covariance matrix.

研究动机与目标

• 开发一种通用方法，用于界定结构化学习设置中Rademacher复杂度的上界，特别是针对多任务学习和稀疏字典学习。
• 通过引入数据协方差矩阵的谱性质，特别是其最大特征值，改进现有风险界。
• 展示多任务学习如何通过更紧致的泛化保证来克服高维数据的挑战。
• 统一并改进矩阵分解中组Lasso、迹范数和Schatten范数等范数的复杂度界。

提出的方法

• 推导出Rademacher过程上确界的关键不等式，将联合集上的期望上确界界定为各集合上最大值加上一个与集合数量的对数及最大范数相关的项。
• 将该不等式应用于将复杂函数类分解为更简单的子类，从而分别界定强参数和弱参数的上界。
• 将经验协方差矩阵的最大特征值作为最终界中的核心控制参数。
• 采用对权重矩阵的低秩与稀疏分量分解，并通过在正则化参数上进行最小化来平衡各项。
• 应用Jensen不等式及正交字典的性质，界定数据向量上Rademacher和的期望范数。
• 用集中不等式将原始Rademacher复杂度替换为具有显式迹和协方差最大特征值依赖关系的期望界，从而导出风险界。

实验结果

研究问题

• RQ1 能否推导出一种通用不等式，以收紧结构化稀疏性和多任务学习的Rademacher复杂度界？
• RQ2 数据协方差矩阵的最大特征值在高维多任务学习中如何影响泛化误差？
• RQ3 多任务学习在稀疏字典学习中能在多大程度上克服维度灾难？
• RQ4 所提出的方法能否改进针对组Lasso、迹范数和Schatten范数正则化的现有界？

主要发现

• 所提出的不等式通过增加一个与组件数量的对数平方根成比例的项来降低Rademacher复杂度界，该比例由数据向量的最大范数缩放。
• 对于单位球面上数据的多任务字典学习，当任务数T趋于无穷时，由于协方差矩阵最大特征值的衰减，界在极限下与环境维度无关。
• Schatten范数情形的最终界达到$ \sqrt{\frac{K \cdot \mathrm{tr}(\hat{C})}{nT}} + 8\sqrt{\frac{K \lambda_{\max}(\hat{C}) \ln(16d/K)}{n}} $的量级，相比先前基于迹范数的界，收敛速度得到提升。
• 在高维设置下，若范数有界，则经验协方差矩阵的期望最大特征值收敛于$ \sqrt{1/d} $，从而在泛化误差中有效消除维度依赖。
• 通过在复杂度分析中显式分离并控制强参数与弱参数，该方法实现了比先前方法更紧致的界。