[论文解读] Sparse Network Lasso for Local High-dimensional Regression.

Makoto Yamada, Koh Takeuchi+3 more|arXiv (Cornell University)|Mar 22, 2016

Statistical Methods and Inference被引用 1

一句话总结

本文提出局部Lasso，一种用于高维局部回归的凸优化框架，通过结合样本级网络正则化和排斥性组稀疏性（$\ell_{1,2}$ 范数），生成可解释、多样化且全局最优的局部模型。该方法采用无需调参的迭代最小二乘算法，在模拟数据和基因组数据上优于其他方法。

ABSTRACT

We introduce the localized Lasso, which is suited for learning models that are both interpretable and have a high predictive power in problems with high dimensionality $d$ and small sample size $n$. More specifically, we consider a function defined by local sparse models, one at each data point. We introduce sample-wise network regularization to borrow strength across the models, and sample-wise exclusive group sparsity (a.k.a., $\ell_{1,2}$ norm) to introduce diversity into the choice of feature sets in the local models. The local models are interpretable in terms of similarity of their sparsity patterns. The cost function is convex, and thus has a globally optimal solution. Moreover, we propose a simple yet efficient iterative least-squares based optimization procedure for the localized Lasso, which does not need a tuning parameter, and is guaranteed to converge to a globally optimal solution. The solution is empirically shown to outperform alternatives for both simulated and genomic personalized medicine data.

研究动机与目标

• 解决高维、小样本回归中全局模型缺乏局部适应性的问题。
• 通过确保局部模型在数据点间具有相似的稀疏模式，提升模型可解释性。
• 通过样本级网络正则化在局部模型间借用信息，提升预测性能。
• 通过排斥性组稀疏性（$\\ell_{1,2}$ 范数）强制不同局部模型间特征选择的多样性。
• 开发一种全局最优、免调参的优化过程，实现高维设置下可扩展且可靠的局部模型拟合。

提出的方法

• 在每个数据点定义一个局部模型，使用具有共享特征选择模式的稀疏线性预测器。
• 样本级网络正则化鼓励邻近数据点间特征选择的相似性，以提高鲁棒性。
• 对每个样本应用排斥性组稀疏性（$\ell_{1,2}$ 范数），以促进不同模型间所选特征集的多样性。
• 构建一个结合局部损失、网络正则化和组稀疏性惩罚的凸代价函数。
• 提出一种迭代最小二乘算法，无需调参即可收敛至全局最优解。
• 该优化过程计算高效，可扩展至高维设置。

实验结果

研究问题

• RQ1 能否通过结构化正则化使高维回归中的局部模型既可解释又具预测能力？
• RQ2 如何在不损害特征选择多样性的前提下，有效在局部模型间借用信息？
• RQ3 样本级网络正则化对预测准确率和模型稳定性有何影响？
• RQ4 免调参的优化过程能否在局部稀疏回归中实现全局最优？
• RQ5 与标准稀疏性相比，排斥性组稀疏性如何提升局部模型的多样性与性能？

主要发现

• 在模拟高维数据集和真实基因组个性化医学数据上，局部Lasso的预测性能均优于基线方法。
• 该方法生成具有相似稀疏模式的可解释局部模型，使每个数据点的特征重要性具有实际意义。
• 迭代最小二乘算法无需交叉验证调参即可可靠收敛至全局最优解。
• 样本级网络正则化通过利用局部邻域结构，显著提升了模型稳定性和预测准确率。
• 排斥性组稀疏性通过促进不同局部模型间特征集的多样性，有效防止过拟合，增强泛化能力。
• 实证结果表明，该方法在预测误差和特征选择准确率方面，持续优于其他局部和全局稀疏回归方法。