[论文解读] Localized Lasso for High-Dimensional Regression

Makoto Yamada, Koh Takeuchi+3 more|arXiv (Cornell University)|Mar 22, 2016

Statistical Methods and Inference参考文献 26被引用 22

一句话总结

本文提出局部Lasso，一种用于高维回归的凸优化方法，通过结合样本级独占组稀疏性（$\ell_{1,2}$ 范数）与网络正则化，学习可解释的、局部稀疏的模型。该方法采用无需调参的迭代最小二乘算法，实现全局最优解，并在模拟数据和基因组数据上优于最先进方法。

ABSTRACT

We introduce the localized Lasso, which is suited for learning models that are both interpretable and have a high predictive power in problems with high dimensionality $d$ and small sample size $n$. More specifically, we consider a function defined by local sparse models, one at each data point. We introduce sample-wise network regularization to borrow strength across the models, and sample-wise exclusive group sparsity (a.k.a., $\ell_{1,2}$ norm) to introduce diversity into the choice of feature sets in the local models. The local models are interpretable in terms of similarity of their sparsity patterns. The cost function is convex, and thus has a globally optimal solution. Moreover, we propose a simple yet efficient iterative least-squares based optimization procedure for the localized Lasso, which does not need a tuning parameter, and is guaranteed to converge to a globally optimal solution. The solution is empirically shown to outperform alternatives for both simulated and genomic personalized medicine data.

研究动机与目标

• 为解决高维小样本回归中特征重要性因数据点而异的问题，需要同时具备预测准确性和可解释性。
• 通过允许不同数据点选择不同重要特征，实现在每个样本上的局部特征选择，与标准Lasso等全局稀疏方法不同。
• 引入网络正则化，以在相似样本间借用信息，同时通过独占组稀疏性保持局部模型的多样性。
• 开发一种高效、无需调参的优化算法，保证收敛至全局最优解。
• 在合成数据和真实基因组数据集上，展示预测准确性和稀疏模式可解释性的优越性能。

提出的方法

• 提出一种局部Lasso模型，为每个样本 $i$ 定义独立的回归系数向量 $\bm{w}_i$，实现局部特征选择。
• 引入一个代价函数，结合网络正则化 $\lambda_1 \sum_{i,j} r_{ij} \|\bm{w}_i - \bm{w}_j\|_2$ 以促进邻近模型之间的相似性，以及 $\ell_{1,2}$ 组稀疏性 $\lambda_2 \sum_i \|\bm{w}_i\|_1^2$ 以确保每个局部模型稀疏但非空。
• 开发一种基于次梯度近似非光滑项的代理函数的迭代最小二乘优化算法，用于更新系数向量。
• 使用代理函数 $\widetilde{J}(\bm{W})$ 以主导原始代价函数，确保单调递减与全局收敛。
• 采用样本级独占组稀疏性惩罚，以促进不同局部模型间特征集的多样性，防止所有模型选择相同特征。
• 通过证明每次迭代中代价函数递减，利用主导-最小化原理，保证收敛至全局最优解。

实验结果

研究问题

• RQ1 能否设计一种凸优化框架，用于在高维小样本设置下学习局部稀疏且可解释的回归模型？
• RQ2 如何将网络正则化与独占组稀疏性结合，以同时鼓励相关样本间模型的相似性与特征选择的多样性？
• RQ3 能否为该模型开发一种高效、无需调参的优化算法，保证全局收敛？
• RQ4 局部Lasso在真实和合成数据上的预测准确性和稀疏模式可解释性方面是否优于标准Lasso和网络Lasso？
• RQ5 该方法在训练样本有限的个性化医疗应用中，能否有效识别样本特异性特征集？

主要发现

• 局部Lasso在合成数据和真实基因组数据集上均实现了优于最先进方法的预测准确性，即使所选特征更少。
• 该方法产生可解释的稀疏模式，其中图中相邻样本倾向于选择相似但不完全相同的特征集，反映出局部模型的相似性。
• 所提出的迭代最小二乘算法无需调节正则化参数 $\lambda_1$ 和 $\lambda_2$ 即可收敛至全局最优解。
• 实验结果表明，局部Lasso在均方误差和特征选择一致性方面优于标准Lasso和网络Lasso。
• 该方法能够基于局部特征重要性实现有效的稀疏聚类，展示了在按潜在生物学机制对患者或药物进行分层方面的实用性。
• 理论分析证明，代价函数在每次迭代中递减，通过主导-最小化方法确保收敛至全局最小值。