[论文解读] Finding Alternate Features in Lasso

Satoshi Hara, Takanori Maehara|arXiv (Cornell University)|Nov 18, 2016

Italy: Economic History and Contemporary Issues参考文献 4被引用 4

一句话总结

本文提出一种方法，用于识别Lasso未选择但可能对模型解释性有帮助的替代特征。通过高效求解与Lasso所选特征高度相关的特征的单变量优化问题，该方法揭示了能保持相似模型性能的代理特征，从而在文本分类等高维数据中提升用户信任度和模型可定制性。

ABSTRACT

We propose a method for finding alternate features missing in the Lasso optimal solution. In ordinary Lasso problem, one global optimum is obtained and the resulting features are interpreted as task-relevant features. However, this can overlook possibly relevant features not selected by the Lasso. With the proposed method, we can provide not only the Lasso optimal solution but also possible alternate features to the Lasso solution. We show that such alternate features can be computed efficiently by avoiding redundant computations. We also demonstrate how the proposed method works in the 20 newsgroup data, which shows that reasonable features are found as alternate features.

研究动机与目标

• 解决Lasso因稀疏性和相关性导致遗漏相关特征的局限性，特别是在高维数据中。
• 为用户提供可替代Lasso所选特征的备选特征，且不牺牲模型性能。
• 通过揭示与领域专业知识一致但标准Lasso被忽略的特征，提升模型可解释性和用户信任度。
• 开发一种高效的计算框架，避免对所有未选特征重复进行优化。

提出的方法

• 对于每个Lasso所选特征 $x_i$，该方法通过固定 $\beta_i = 0$ 并优化 $\beta_j$ 来评估未选特征 $x_j$ 是否可作为替代。
• 每个 $x_j$ 的优化问题被简化为单变量问题：$\beta_j^{(i)} = \arg\min_{\beta_j} f(z^{(i)} + X_j\beta_j, y) + \rho|\beta_j|$，其中 $z^{(i)}$ 是其余所有特征的残差。
• 通过一个过滤步骤跳过 $x_j$ 的优化求解，若满足 $|X_j^T \nabla f(z^{(i)}, y)| \leq \rho$，从而避免不必要的计算。
• 通过Lasso目标函数的增加量对替代特征进行评分：$\text{score}(x_i \to x_j) = L(\beta^{i\to j}) - L(\beta^*)$，得分越低表示相关性越高。
• 使用二分图可视化展示特征对，使用户能够探索所选特征与替代特征之间的关系。
• 该方法在20 Newsgroups数据集上进行了验证，仅需对53对（共450,000对潜在组合）进行完整优化，实现10,000倍的计算量减少。

实验结果

研究问题

• RQ1 我们能否在不重新训练完整模型的前提下，高效识别出可作为Lasso所选特征有效替代的未选特征？
• RQ2 如何衡量一个替代特征与Lasso所选特征的相关性，使其能反映模型性能与可解释性？
• RQ3 可应用哪些计算优化策略，以避免对所有未选特征求解单变量优化问题？
• RQ4 该方法发现的替代特征在真实世界文本分类任务中，与领域知识相比如何？
• RQ5 该方法能否帮助用户检测并移除损害模型泛化能力的虚假特征（如签名词）？

主要发现

• 在 ibm.pc.hardware 与 mac.hardware 任务中，该方法将所需优化次数从约450,000次减少至仅53次，实现10,000倍的计算量减少。
• 在 sci.med 与 sci.space 任务中，该方法成功识别出单词 'gordon' 主要与 sci.med 中的重复签名相关，其替代特征也主要来自该签名。
• 单词 'space' 的最高分替代特征为 'shuttle'，这与 sci.space 类别高度相关，证实了该方法能检测出语义上合理的代理特征。
• 该方法揭示了 'drive'、'bios' 和 'windows' 相互之间为彼此的替代特征，且均与IBM PC硬件相关，表明其与领域知识高度一致。
• 基于目标函数增加量的评分方法能有效将语义上一致的替代特征排在前列，使用户可轻松过滤掉无关或虚假特征。
• 特征对的二分图可视化显示出有意义的聚类，如Mac产品名称（如Centris 610）和与Windows相关的术语，验证了该方法在提升可解释性方面的优势。