[论文解读] Autoencoder Feature Selector.

Kai Han, Chao Li+1 more|arXiv (Cornell University)|Oct 23, 2017

Image and Signal Denoising Methods被引用 6

一句话总结

本文提出自动编码器特征选择器（AEFS），一种非线性无监督特征选择方法，通过将自编码器与组套索正则化相结合，能够在高维数据中复杂且非线性的相关性下识别出最相关的特征。该方法通过建模非线性关系，优于传统线性方法（如正则化自表示），并进一步通过一种鲁棒变体提升对噪声和数据损坏的处理能力。

ABSTRACT

High-dimensional data in many areas such as computer vision and machine learning brings in computational and analytical difficulty. Feature selection which select a subset of features from original ones has been proven to be effective and efficient to deal with high-dimensional data. In this paper, we propose a novel AutoEncoder Feature Selector (AEFS) for unsupervised feature selection. AEFS is based on the autoencoder and the group lasso regularization. Compared to traditional feature selection methods, AEFS can select the most important features in spite of nonlinear and complex correlation among features. It can be viewed as a nonlinear extension of the linear method regularized self-representation (RSR) for unsupervised feature selection. In order to deal with noise and corruption, we also propose robust AEFS. An efficient iterative algorithm is designed for model optimization and experimental results verify the effectiveness and superiority of the proposed method.

研究动机与目标

• 通过提升特征选择的效率和准确性，解决计算机视觉和机器学习中高维数据的挑战。
• 克服线性特征选择方法在捕捉特征间非线性和复杂相关性方面的局限性。
• 开发该方法的鲁棒变体，以处理噪声或损坏的数据输入。
• 提供一种高效的迭代优化算法，使该方法可扩展至大规模数据集。
• 在基准数据集上展示其性能优于现有无监督特征选择技术。

提出的方法

• 利用自编码器架构，学习高维输入数据的非线性低维表示。
• 对编码器权重应用组套索正则化，以在特征组上促进稀疏性，实现特征选择。
• 将每个输入特征视为一个组，使模型能够基于其对重构误差的贡献选择整个特征。
• 通过一种类似交替方向乘数法（ADMM）的高效迭代算法优化目标函数。
• 通过修改重构损失使其对异常值和损坏数据点不那么敏感，从而增强鲁棒性。
• 将特征选择任务建模为正则化自表示问题，通过自编码器将线性RSR扩展至非线性设置。

实验结果

研究问题

• RQ1 基于自编码器的非线性特征选择方法是否能在捕捉复杂特征相关性方面优于线性方法？
• RQ2 组套索正则化在非线性深度学习框架中选择有意义特征方面的有效性如何？
• RQ3 所提出的鲁棒AEFS变体在噪声或损坏数据条件下能在多大程度上提升性能？
• RQ4 该迭代优化算法如何确保在高维数据集上的收敛性和可扩展性？
• RQ5 正则化自表示（RSR）的非线性扩展是否能比其线性对应方法获得更高的特征选择准确率？

主要发现

• AEFS在具有非线性特征依赖性的数据集上，相比传统线性方法（如正则化自表示，RSR）表现出更优的特征选择性能。
• 将组套索与自编码器结合，能够有效选择相关特征，同时抑制无关或冗余特征。
• AEFS的鲁棒变体在数据损坏和噪声条件下表现出更强的抗干扰能力，维持了高精度的特征选择。
• 迭代优化算法收敛迅速，使该方法可实际应用于大规模高维数据集。
• 实证结果证实，AEFS在基准数据集上的特征选择准确率和重构质量方面均优于基线方法。