[论文解读] An L1 Representer Theorem for Multiple-Kernel Regression.

Shayan Aziznejad, Michaël Unser|arXiv (Cornell University)|Nov 2, 2018

Sparse and Compressive Sensing Techniques参考文献 65被引用 2

一句话总结

本文提出了一种广义总变差（gTV）范数，作为多核回归（MKR）中促进稀疏性的正则化项，取代了标准的二次正则化项。它建立了一个表示定理，表明解可表示为具有自适应位置和 $β$-范数稀疏性的核展开，从而在巴拿赫空间框架下通过 $Ø1$-惩罚系数实现冗余减少。

ABSTRACT

The theory of RKHS provides an elegant framework for supervised learning. It is the foundation of all kernel methods in machine learning. Implicit in its formulation is the use of a quadratic regularizer associated with the underlying inner product which imposes smoothness constraints. In this paper, we consider instead the generalized total-variation (gTV) norm as the sparsity-promoting regularizer. This leads us to propose a new Banach-space framework that justifies the use of generalized LASSO, albeit in a slightly modified version. We prove a representer theorem for multiple-kernel regression (MKR) with gTV regularization. The theorem states that the solutions of MKR have kernel expansions with adaptive positions, while the gTV norm enforces an $\ell_1$ penalty on the coefficients. We discuss the sparsity-promoting effect of the gTV norm which prevents redundancy in the multiple-kernel scenario.

研究动机与目标

• 解决依赖二次正则化的传统多核回归方法中缺乏稀疏性的问题。
• 为多核回归中的广义总变差（gTV）正则化建立理论框架。
• 在巴拿赫空间设置下，证明修改后的广义LASSO使用的合理性，以实现更好的稀疏性。
• 通过在核系数上施加 $Ø1$-惩罚，防止多核模型中的冗余。
• 建立一个表示定理，刻画在gTV正则化下解的结构特征。

提出的方法

• 用广义总变差（gTV）范数替代再生核希尔伯特空间（RKHS）中的标准二次正则化项，以促进稀疏性。
• 构建巴拿赫空间框架，以证明在多核回归中使用gTV正则化的合理性。
• 推导出一个表示定理，证明解可表示为具有自适应位置的核展开。
• 对核系数施加 $Ø1$ 惩罚，以强制实现稀疏性并减少冗余。
• 在新框架中使用修改后的广义LASSO版本，以获得稀疏且结构化的解。
• 应用gTV范数以在允许灵活核定位的同时，对系数向量实现稀疏性。

实验结果

研究问题

• RQ1 广义总变差范数能否用于在多核回归中诱导稀疏性？
• RQ2 gTV正则化如何影响多核回归中解的结构？
• RQ3 在MKR设置下，gTV正则化对应的表示定理形式为何？
• RQ4 与标准核方法相比，所提出的框架在稀疏性和冗余控制方面表现如何？
• RQ5 gTV范数能否在巴拿赫空间框架下得到合理解释，以适用于多核学习？

主要发现

• 带有gTV正则化的MKR表示定理表明，解是具有自适应位置的核的线性组合。
• gTV范数对核系数施加了 $Ø1$-惩罚，强制实现稀疏性并减少冗余。
• 解的结构由巴拿赫空间框架刻画，扩展了经典的RKHS理论。
• 该方法实现了在新框架下理论合理的修改版广义LASSO。
• gTV的稀疏性促进效应使得多核回归中的核模型更具可解释性和效率。
• 理论结果为具有改进泛化潜力的稀疏、结构化核学习奠定了基础。