[论文解读] Applications of strong convexity--strong smoothness duality to learning with matrices

Sham M. Kakade, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Oct 4, 2009

Sparse and Compressive Sensing Techniques参考文献 16被引用 41

一句话总结

本文提出了一种基于强凸性与强光滑性对偶性的系统化框架，用于机器学习中的矩阵正则化。通过利用共轭函数和对偶范数，该框架为多任务学习、多分类学习和核学习推导出新颖的泛化误差界与遗憾界，从而实现基于统计问题特性的正则化函数的合理选择。

ABSTRACT

There is growing body of learning problems for which it is natural to organize the parameters into matrix, so as to appropriately regularize the parameters under some matrix norm (in order to impose some more sophisticated prior knowledge). This work describes and analyzes a systematic method for constructing such matrix-based, regularization methods. In particular, we focus on how the underlying statistical properties of a given problem can help us decide which regularization function is appropriate. Our methodology is based on the known duality fact: that a function is strongly convex with respect to some norm if and only if its conjugate function is strongly smooth with respect to the dual norm. This result has already been found to be a key component in deriving and analyzing several learning algorithms. We demonstrate the potential of this framework by deriving novel generalization and regret bounds for multi-task learning, multi-class learning, and kernel learning.

研究动机与目标

• 开发一种系统化方法，用于学习问题中矩阵正则化函数的选择。
• 通过凸对偶性将学习问题的统计特性与适当的正则化联系起来。
• 利用该框架推导多任务学习、多分类学习和核学习的泛化误差界与遗憾界。
• 展示强凸性与强光滑性之间的对偶性如何指导正则化设计。

提出的方法

• 利用对偶性：当且仅当其共轭函数关于对偶范数是强光滑的时，一个函数关于某范数是强凸的。
• 将此对偶性应用于构建针对矩阵参数的正则化函数。
• 通过分析共轭函数的光滑性与凸性特性，推导泛化误差界与遗憾界。
• 使用矩阵范数在多任务学习、多分类学习和核学习设置中编码先验知识与结构信息。
• 建立问题特定统计特性与正则化设计之间的系统性关联。

实验结果

研究问题

• RQ1 如何系统性地将强凸性与强光滑性对偶性应用于学习中的矩阵正则化？
• RQ2 在结构化学习问题中，该对偶性框架自然引出哪些矩阵范数与正则化函数？
• RQ3 所推导的泛化误差界与遗憾界如何依赖于矩阵范数与正则化函数的选择？
• RQ4 该框架在多任务学习、多分类学习和核学习中以何种方式提升学习性能？

主要发现

• 强凸性与强光滑性之间的对偶性使得矩阵正则化函数的系统化构造成为可能。
• 该框架通过利用矩阵结构，为多任务学习带来了更紧致的泛化误差界与遗憾界。
• 推导出新颖的正则化函数，通过矩阵范数编码复杂的先验知识。
• 该方法为多分类学习与核学习问题的正则化设计提供了一体化方法。