[论文解读] Active Sample Learning and Feature Selection: A Unified Approach.

Changsheng Li, Xiangfeng Wang+4 more|arXiv (Cornell University)|Mar 4, 2015

Machine Learning and Algorithms参考文献 47被引用 7

一句话总结

本文提出了一种统一的、一次性框架，用于在完全无监督设置下同时进行主动样本选择与特征选择，通过数据重建联合优化代表性样本与信息性特征，采用凸的非光滑优化方法。该方法实现了最先进性能并具备全局收敛性，尤其在初始标注数据稀缺或缺失时表现优异。

ABSTRACT

This paper focuses on the problem of simultaneous sample and feature selection for machine learning in a fully unsupervised setting. Though most existing works tackle these two problems separately that derives two well-studied sub-areas namely active learning and feature selection, a unified approach is inspirational since they are often interleaved with each other. Noisy and high-dimensional features will bring adverse effect on sample selection, while `good' samples will be beneficial to feature selection. We present a unified framework to conduct active learning and feature selection simultaneously. From the data reconstruction perspective, both the selected samples and features can best approximate the original dataset respectively, such that the selected samples characterized by the selected features are very representative. Additionally our method is one-shot without iteratively selecting samples for progressive labeling. Thus our model is especially suitable when the initial labeled samples are scarce or totally absent, which existing works hardly address particularly for simultaneous feature selection. To alleviate the NP-hardness of the raw problem, the proposed formulation involves a convex but non-smooth optimization problem. We solve it efficiently by an iterative algorithm, and prove its global convergence. Experiments on publicly available datasets validate that our method is promising compared with the state-of-the-arts.

研究动机与目标

• 解决现有方法将主动学习与特征选择视为独立问题的局限性，尽管两者存在内在关联。
• 开发一种统一框架，无需迭代标注或初始标注数据，即可同时选择代表性样本与信息性特征。
• 确保所选样本与特征能够最佳重构原始数据集，保留数据结构与代表性。
• 通过凸但非光滑的优化公式克服联合选择问题的NP难复杂性。
• 利用适合实际应用场景的迭代算法实现全局收敛与高效计算，尤其适用于初始标签稀缺或缺失的场景。

提出的方法

• 从数据重构的角度构建联合样本与特征选择问题，旨在通过所选样本与特征保留原始数据结构。
• 提出一种凸的非光滑优化问题以建模联合选择，即使原始问题具有NP难性质，仍确保计算可处理性。
• 设计一种迭代算法求解非光滑优化问题，并提供全局收敛性的理论证明。
• 在单一步骤中集成样本与特征选择，避免迭代标注轮次，实现一次性选择。
• 以重构误差作为目标函数，最小化原始数据与从所选样本和特征重构数据之间的差异。
• 利用优质样本与优质特征之间的相互增益：代表性样本可提升特征选择质量，信息性特征可增强样本选择效果。

实验结果

研究问题

• RQ1 能否在完全无监督设置下，通过统一框架同时优化样本与特征选择？
• RQ2 与顺序或孤立方法相比，联合选择样本与特征在数据重构方面有何改进？
• RQ3 当初始标注数据稀缺或缺失时，一次性选择策略能否实现具有竞争力的性能？
• RQ4 所提出的凸非光滑优化公式是否能确保全局收敛性与计算效率？
• RQ5 样本与特征选择之间的相互作用如何增强所选子集的代表性？

主要发现

• 所提出的统一框架在公开可用数据集上的无监督设置下，性能优于最先进方法。
• 一次性选择策略能有效识别代表性样本与信息性特征，无需迭代标注或初始标注数据。
• 凸的非光滑优化公式确保了全局收敛性，从而实现可靠且稳定的优化结果。
• 联合选择过程显著提升了数据重构效果，表明代表性样本与信息性特征可相互增强。
• 该方法在低标签或零标签场景下尤为有效，而现有方法因缺乏初始监督而表现不佳。
• 实证验证表明，该方法在高维、噪声较大的数据环境中具有显著潜力，此时特征与样本质量至关重要。