[论文解读] Consistency of the group Lasso and multiple kernel learning

Francis Bach|ArXiv.org|Jul 23, 2007

Statistical Methods and Inference参考文献 49被引用 704

一句话总结

本文建立了高维回归中组套索（group Lasso）和多核学习（multiple kernel learning, MKL）的理论一致性条件，表明在实际假设下（包括模型误设），可一致恢复稀疏模式。通过协方差算子和泛函分析，将套索一致性结果扩展至分组和无限维核设置。

ABSTRACT

We consider the least-square regression problem with regularization by a block 1-norm, i.e., a sum of Euclidean norms over spaces of dimensions larger than one. This problem, referred to as the group Lasso, extends the usual regularization by the 1-norm where all spaces have dimension one, where it is commonly referred to as the Lasso. In this paper, we study the asymptotic model consistency of the group Lasso. We derive necessary and sufficient conditions for the consistency of group Lasso under practical assumptions, such as model misspecification. When the linear predictors and Euclidean norms are replaced by functions and reproducing kernel Hilbert norms, the problem is usually referred to as multiple kernel learning and is commonly used for learning from heterogeneous data sources and for non linear variable selection. Using tools from functional analysis, and in particular covariance operators, we extend the consistency results to this infinite dimensional case and also propose an adaptive scheme to obtain a consistent model estimate, even when the necessary condition required for the non adaptive scheme is not satisfied.

研究动机与目标

• 在实际假设（包括模型误设）下，建立组套索模型一致性的必要与充分条件。
• 通过再生核希尔伯特空间（reproducing kernel Hilbert spaces），将有限维组套索的一致性结果扩展至无限维多核学习（MKL）设置。
• 提出一种自适应方案，即使在标准非自适应MKL条件不满足时，也能确保一致性。
• 为异质数据融合与核学习中的组选择及非线性变量选择提供理论基础。
• 通过泛函分析（特别是输入空间中的协方差算子）统一分析组套索与MKL。

提出的方法

• 使用协方差算子在原始空间分析组套索与MKL，避免依赖对偶空间计算。
• 应用泛函分析工具，将有限维组套索一致性结果推广至无限维再生核希尔伯特空间（RKHS）设置。
• 基于协方差算子的谱性质与组结构，推导一致性所需的必要与充分条件。
• 引入一种自适应组套索方案，采用数据依赖权重，确保在标准条件不成立时仍保持一致性。
• 利用 $L^2(p_X)$ 中的正交基及协方差算子 $\Sigma_{XX}$ 的特征分解，刻画解空间。
• 使用埃尔米特多项式展开与高斯核特征基，对高斯情形下的期望进行计算，并通过解析方法验证条件。

实验结果

研究问题

• RQ1 在何种条件下，组套索能一致恢复回归系数的真实稀疏模式？
• RQ2 模型误设如何影响组套索的一致性？一致性是否仍可实现？
• RQ3 组套索的一致性结果能否推广至多核学习的无限维设置？
• RQ4 当标准组套索条件不满足时，何种条件可确保多核学习的一致性？
• RQ5 自适应方案如何在弱假设或假设被违反时提升多核学习中的一致性？

主要发现

• 即使在模型误设下，组套索仍能一致恢复真实稀疏模式，当且仅当设计矩阵与组结构满足某一特定相关性条件。
• 当组内存在强相关性时，标准组套索可能无法恢复正确稀疏模式，但采用数据依赖权重的自适应版本可恢复一致性。
• 对于多核学习，当真实函数位于核函数的张量空间中，且核组合满足与协方差算子谱性质相关的表示条件时，可实现一致性。
• 本文证明，在弱假设下，组套索在 $L^2(p_X)$ 中收敛至最优线性预测器，无论在系数向量还是稀疏模式上。
• 在高斯核情形下，显式特征基与埃尔米特多项式展开使一致性条件可解析验证，无需蒙特卡洛采样。
• 自适应方案通过基于初始估计重加权组范数，即使在非自适应MKL的必要条件不满足时，也能确保一致性。