[论文解读] Excess risk bounds for multitask learning with trace norm regularization

Andreas Maurer, Massimiliano Pontil|arXiv (Cornell University)|Dec 6, 2012

Sparse and Compressive Sensing Techniques参考文献 18被引用 18

一句话总结

本文通过迹范数正则化建立了多任务学习的过剩风险边界，证明泛化误差依赖于任务数量、每项任务的样本数以及数据分布——且不依赖于输入维度。关键贡献在于理论分析表明，在高维或无限维空间中，通过结构化正则化可实现更优泛化，包括具有次指数矩的随机正定矩阵和的浓度不等式。

ABSTRACT

Trace norm regularization is a popular method of multitask learning. We give excess risk bounds with explicit dependence on the number of tasks, the number of examples per task and properties of the data distribution. The bounds are independent of the dimension of the input space, which may be infinite as in the case of reproducing kernel Hilbert spaces. A byproduct of the proof are bounds on the expected norm of sums of random positive semidefinite matrices with subexponential moments.

研究动机与目标

• 为迹范数正则化的多任务学习提供理论过剩风险边界。
• 分析泛化误差如何依赖于任务数量、每项任务的样本数以及数据分布。
• 推导出不依赖于输入空间维度的边界，包括无限维情形（如再生核希尔伯特空间）。
• 作为副产品，建立关于具有次指数矩的随机正定矩阵和的新浓度不等式。

提出的方法

• 作者将多任务学习建模为从希尔伯特空间到 R^T 的线性映射，其中每个任务的预测器由权重向量定义。
• 他们在迹范数约束集上执行经验风险最小化：||W||_1 ≤ B√T，以在任务间强制实现低秩结构。
• 关键技术包括使用对称化和矩阵浓度不等式，通过径特复杂度分析来界定期望风险偏差。
• 证明利用矩生成函数和矩阵切尔诺夫型不等式，处理独立的秩一正定算子和。
• 通过引入样本大小的调和平均数 n̄，将非独立同分布的任务采样纳入分析。
• 利用定理7和定理8进行矩阵浓度分析，推导出对数依赖于 T 和 n̄ 的显式风险边界。

实验结果

研究问题

• RQ1 迹范数正则化多任务学习的过剩风险如何随任务数量和每项任务的样本数变化？
• RQ2 能否推导出不依赖于输入空间维度的泛化边界，即使在无限维希尔伯特空间中？
• RQ3 迹范数在通过任务间结构化依赖促进泛化方面起到什么作用？
• RQ4 具有次指数矩的随机正定矩阵和如何集中？这对学习理论有何影响？

主要发现

• 过剩风险边界为 O(√(||C||_∞ / n̄) + √(log(nT)/n̄T))，其中 ||C||_∞ 为协方差算子的谱范数，n̄ 为任务样本大小的调和平均数。
• 该边界为无维形式，即使在输入空间为无限维（如再生核希尔伯特空间）时依然成立。
• 推导出关于随机正定矩阵和的新浓度不等式，表明其期望算子范数以类似次高斯行为围绕其均值集中。
• 迹范数约束集的径特复杂度边界被证明为 O(√(||C||_∞ / n̄) + √(log(nT)/n̄T))，该边界驱动了最终的风险边界。
• 分析证实，当任务相关时，迹范数正则化可实现优于独立学习的泛化效果，尤其在单个任务样本量较小时。
• 所推导的边界是紧致的，其明确反映了对任务数 T、平均样本量 n̄ 以及通过协方差算子谱范数体现的数据分布的依赖。