[论文解读] Features in Concert: Discriminative Feature Selection meets Unsupervised Clustering

Marius Leordeanu, Alexandra Radu+1 more|arXiv (Cornell University)|Nov 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 41被引用 6

一句话总结

本文提出了一种凸的、判别性特征选择方法，将有监督线性分类问题转化为无监督聚类问题，以联合识别稀疏、多样且强大的特征集合。通过施加仿射约束和稀疏性约束，该方法能高效选择出紧凑且高性能的特征组，在训练速度和准确率上优于AdaBoost、贪心选择和SVM，尤其在数据有限的情况下表现更优。

ABSTRACT

Feature selection is an essential problem in computer vision, important for category learning and recognition. Along with the rapid development of a wide variety of visual features and classifiers, there is a growing need for efficient feature selection and combination methods, to construct powerful classifiers for more complex and higher-level recognition tasks. We propose an algorithm that efficiently discovers sparse, compact representations of input features or classifiers, from a vast sea of candidates, with important optimality properties, low computational cost and excellent accuracy in practice. Different from boosting, we start with a discriminant linear classification formulation that encourages sparse solutions. Then we obtain an equivalent unsupervised clustering problem that jointly discovers ensembles of diverse features. They are independently valuable but even more powerful when united in a cluster of classifiers. We evaluate our method on the task of large-scale recognition in video and show that it significantly outperforms classical selection approaches, such as AdaBoost and greedy forward-backward selection, and powerful classifiers such as SVMs, in speed of training and performance, especially in the case of limited training data.

研究动机与目标

• 解决在计算机视觉和机器学习中从海量候选特征中选择最优、多样且判别性特征的挑战。
• 克服AdaBoost和遗传算法等贪心或启发式方法的局限性，这些方法在面对强分类器或多样化分类器时表现不佳。
• 开发一种即使在训练数据极少的情况下也能实现快速、可扩展且准确的特征选择方法。
• 通过统一的凸优化公式，弥合有监督特征选择、无监督聚类与线性判别分析之间的差距。
• 通过确保训练时间与输入图像数量无关，实现端到端的实时、动态识别。

提出的方法

• 将特征选择建模为一个带有两个关键约束的判别性线性分类问题：解权重的上界约束和仿射组合要求。
• 强制所选特征与正样本类别正相关，以增强判别能力。
• 将约束的线性分类问题转化为等价的无监督聚类问题，以联合发现多样且高性能的特征集合。
• 利用凸优化确保稀疏解，并使非零权重相等，从而自动选择出紧凑的特征子集。
• 使用预训练的ImageNet分类器作为输入特征，并在多个图像区域上应用，以提升多样性和空间上下文信息。
• 在大规模视频识别任务中应用该方法，使用小规模随机采样的训练集，以评估其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 能否设计一种凸优化框架，以同时实现判别性与多样化的特征选择，同时确保稀疏性和高性能？
• RQ2 在数据稀缺条件下，该方法与AdaBoost、贪心前向-后向选择和SVM等成熟方法相比，在训练速度和准确率方面表现如何？
• RQ3 语义上无关但视觉或上下文上相似的特征，通过集成学习能在多大程度上提升分类性能？
• RQ4 该方法在训练数据极少的情况下，能否可靠地识别并聚类通过外观、上下文或整体-部分关系相关的特征？
• RQ5 该方法是否能通过组合现有高层概念，实现有效的零样本或少样本学习，以识别新类别？

主要发现

• 在仅使用10个训练样本的情况下，该方法在YouTube-Objects数据集上达到69.99%的准确率，特征池包含6,160个分类器，性能比小规模特征池提升了一倍以上。
• 当使用20个训练样本时，准确率提升至71.31%（使用最大特征池），表明方法具有出色的可扩展性和数据效率。
• 在30次独立实验中，该方法始终选择出相同的50个最重要特征，即使在小样本设置下也表现出高度稳定性。
• 所选特征常包含语义上相距较远但视觉或上下文上相关的类别（例如，用“钢桥”表示“火车”，用“虎鲨”表示“飞机”），凸显了外观与上下文聚类的强大能力。
• 该方法通过组合现有分类器，成功学习到“牛”这一类别（该类别未出现在原始ImageNet 1000类标签集中），展示了有效的少样本泛化能力。
• 训练时间与输入图像数量无关，支持在动态环境中实现实时部署。