[论文解读] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables

Masaaki Takada, Taiji Suzuki+1 more|arXiv (Cornell University)|Nov 6, 2017

Statistical Methods and Inference参考文献 21被引用 9

一句话总结

本文提出了一种新型稀疏回归正则化方法——独立可解释Lasso（IILasso），通过在活跃变量之间的成对相关性上施加惩罚，抑制相关特征的选择。通过促进活跃变量间的不相关性，IILasso增强了模型的可解释性与泛化能力，在比Lasso更宽松的条件下实现符号一致性，并达到近乎极小极大最优的估计误差率，在合成数据与真实基因芯片数据上表现更优。

ABSTRACT

Sparse regularization such as $\ell_1$ regularization is a quite powerful and widely used strategy for high dimensional learning problems. The effectiveness of sparse regularization has been supported practically and theoretically by several studies. However, one of the biggest issues in sparse regularization is that its performance is quite sensitive to correlations between features. Ordinary $\ell_1$ regularization can select variables correlated with each other, which results in deterioration of not only its generalization error but also interpretability. In this paper, we propose a new regularization method, "Independently Interpretable Lasso" (IILasso). Our proposed regularizer suppresses selecting correlated variables, and thus each active variable independently affects the objective variable in the model. Hence, we can interpret regression coefficients intuitively and also improve the performance by avoiding overfitting. We analyze theoretical property of IILasso and show that the proposed method is much advantageous for its sign recovery and achieves almost minimax optimal convergence rate. Synthetic and real data analyses also indicate the effectiveness of IILasso.

研究动机与目标

• 为解决标准Lasso中因相关特征选择导致的可解释性差与过拟合问题。
• 开发一种正则化方法，确保所选变量之间互不相关，从而实现回归系数的独立解释。
• 在高维、相关设计下，实现更优的统计性能，特别是符号恢复与估计误差方面。
• 提供一种无需预处理步骤（如变量分组）的方法，同时保持强理论保证。

提出的方法

• IILasso引入一种新颖的正则化项，对所选（活跃）变量之间的绝对成对相关性之和施加惩罚。
• 该方法使用坐标下降算法优化非凸目标函数，可保证收敛至驻点。
• 惩罚项的设计旨在抑制彼此相关（尤其是负相关）变量的选择。
• 该公式允许在保持较低变量间相关性的同时，实现对活跃变量的强烈稀疏化。
• 该方法适用于线性与逻辑回归模型，包括高维情形。
• 理论分析表明，每个局部最优解均能达到与全局最优解相同的收敛速率，确保统计效率。

实验结果

研究问题

• RQ1 能否设计一种稀疏正则化方法，以选择不相关的活跃变量，从而提升模型可解释性？
• RQ2 所提出的正则化器是否在比标准Lasso更弱的条件下实现符号一致性，特别是在真实活跃变量不相关时？
• RQ3 在具有相关特征的高维设定下，该方法能否实现接近极小极大最优的估计误差收敛速率？
• RQ4 在真实世界数据中，IILasso在预测误差、模型规模与误分类率方面与Lasso、SCAD、MCP及Elastic Net相比表现如何？

主要发现

• 在合成数据上，IILasso的预测误差最低（1.45 ± 0.02），估计误差也最低（1.40 ± 0.04），优于Lasso、SCAD、MCP与EGLasso。
• IILasso的模型规模（13.5 ± 0.23）显著小于Lasso（34.1 ± 0.46），与MCP相当，表明其具有更好的稀疏性。
• 在10个真实微阵列数据集中，IILasso在9/10的案例中误分类误差最低，在5/10的案例中对数似然最优，表现出更优的泛化能力。
• 在10个数据集中的6个（含1次并列）中，IILasso的模型规模最小，其中5次为最小值，展现出强大的稀疏性。
• 理论分析证实，当真实活跃变量不相关时，IILasso在比Lasso更宽松的条件下实现符号一致性。
• IILasso目标函数的每个局部最优解均能达到与全局最优解相同阶数的收敛速率，尽管目标函数非凸，仍确保统计效率。