[论文解读] High-Dimensional Feature Selection by Feature-Wise Non-Linear Lasso

Makoto Yamada, Wittawat Jitkrittum+2 more|arXiv (Cornell University)|Feb 2, 2012

Statistical Methods and Inference被引用 12

一句话总结

本文提出了一种基于特征的核化Lasso方法，用于高维特征选择，通过基于核的独立性度量捕捉输入与输出之间的非线性依赖关系。通过实现全局最优解的高效计算，该方法能够有效扩展至数千个特征，同时识别出非冗余且强相关的特征。

ABSTRACT

The goal of supervised feature selection is to find a subset of input features that are responsible for predicting output values. The least absolute shrinkage and selection operator (Lasso) allows computationally efficient feature selection based on linear dependency between input features and output values. In this paper, we consider a feature-wise kernelized Lasso for capturing non-linear input-output dependency. We first show that, with particular choices of kernel functions, non-redundant features with strong statistical dependence on output values can be found in terms of kernel-based independence measures. We then show that the globally optimal solution can be efficiently computed; this makes the approach scalable to high-dimensional problems. The effectiveness of the proposed method is demonstrated through feature selection experiments with thousands of features.

研究动机与目标

• 解决传统Lasso在捕捉输入特征与输出变量之间非线性关系方面的局限性。
• 开发一种计算高效的高维特征选择方法，同时保持全局最优性。
• 利用基于核的独立性度量识别与输出具有强统计依赖关系的非冗余特征。
• 将Lasso的应用范围从线性模型扩展到非线性、高维场景。

提出的方法

• 提出一种基于特征的核化Lasso公式，通过核函数建模非线性依赖关系。
• 使用基于核的独立性度量识别与输出具有强统计依赖关系的特征。
• 采用特定的核函数选择，以确保所选特征为非冗余且高度相关。
• 推导出一种高效的优化算法，可计算全局最优解，从而实现可扩展性。
• 采用基于特征的收缩方法，其中每个特征根据其核诱导的相关性被单独惩罚。
• 利用凸优化技术，即使在非线性变换下也能确保收敛至全局最优解。

实验结果

研究问题

• RQ1 核化Lasso能否在高维场景下有效识别输入特征与输出变量之间的非线性依赖关系？
• RQ2 所提出的方法是否在保持计算效率的同时实现全局最优性，适用于大规模问题？
• RQ3 与线性方法相比，基于核的独立性度量在选择非冗余、高度相关特征方面的表现如何？
• RQ4 该方法在不牺牲解质量的前提下，对包含数千个特征的数据集的可扩展性如何？

主要发现

• 所提出的方法成功利用基于核的独立性度量识别出与输出具有强统计依赖关系的非冗余特征。
• 全局最优解可高效计算，从而实现对包含数千个特征的高维数据集的有效扩展。
• 该方法通过捕捉线性模型所遗漏的非线性输入-输出关系，在性能上优于线性Lasso。
• 实证实验证实了该方法在高维数据特征选择任务中的有效性。