[论文解读] C-SVDDNet: An Effective Single-Layer Network for Unsupervised Feature Learning.

Dong Wang, Xiaoyang Tan|arXiv (Cornell University)|Dec 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 23被引用 4

一句话总结

C-SVDDNet 提出了一种单层无监督特征学习网络，通过集成一种新型的 C-SVDD 算法，更稳健地建模聚类密度与分布，同时通过多尺度 SIFT 类全局表征引入空间信息；该方法在 STL-10、MNIST、Holiday 和 Copydays 基准测试中达到最先进性能。

ABSTRACT

In this paper, we investigate the problem of learning feature representation from unlabeled data using a single-layer K-means network. A K-means network maps the input data into a feature representation by finding the nearest centroid for each input point, which has attracted researchers' great attention recently due to its simplicity, effectiveness, and scalability. However, one drawback of this feature mapping is that it tends to be unreliable when the training data contains noise. To address this issue, we propose a SVDD based feature learning algorithm that describes the density and distribution of each cluster from K-means with an SVDD ball for more robust feature representation. For this purpose, we present a new SVDD algorithm called C-SVDD that centers the SVDD ball towards the mode of local density of each cluster, and we show that the objective of C-SVDD can be solved very efficiently as a linear programming problem. Additionally, traditional unsupervised feature learning methods usually take an average or sum of local representations to obtain global representation which ignore spatial relationship among them. To use spatial information we propose a global representation with a variant of SIFT descriptor. The architecture is also extended with multiple receptive field scales and multiple pooling sizes. Extensive experiments on several popular object recognition benchmarks, such as STL-10, MINST, Holiday and Copydays shows that the proposed C-SVDDNet method yields comparable or better performance than that of the previous state of the art methods.

研究动机与目标

• 为解决在噪声数据下基于 K-means 的特征学习不稳定问题，通过提升聚类表征的鲁棒性。
• 通过将 SVDD 球心置于局部密度模态，比标准 SVDD 更准确地建模 K-means 聚类的密度与分布。
• 整合局部特征之间的空间关系，这些关系通常在通过平均或求和构建全局表征时被忽略。
• 通过 SIFT 描述符的多尺度、多池化变体增强全局表征，以提升特征区分能力。
• 为所提出的 C-SVDD 算法开发一种高效的线性规划公式，以确保可扩展性与速度。

提出的方法

• 提出 C-SVDD，一种改进的 SVDD 方法，将超球心置于每个 K-means 聚类内局部密度模态，以更好地捕捉聚类结构。
• 将 C-SVDD 目标作为线性规划问题求解，实现高效且可扩展的优化。
• 引入多感受野与多池化尺寸架构，以捕捉局部特征中的层次化空间模式。
• 使用一种类似 SIFT 的描述符变体构建全局表征，编码多尺度下的空间布局。
• 在单层网络中结合基于 K-means 的局部特征映射、基于 C-SVDD 的聚类建模以及空间感知的全局表征。
• 采用统一框架，联合优化特征学习与表征，无需依赖标注数据。

实验结果

研究问题

• RQ1 通过将 SVDD 球心置于局部密度模态，改进的 SVDD 方法是否能提升在噪声数据下基于 K-means 的特征学习的鲁棒性？
• RQ2 在无监督学习中，整合局部特征之间的空间关系如何影响全局表征质量？
• RQ3 所提出的 C-SVDD 的线性规划公式是否能实现在单层网络中高效且可扩展的特征学习？
• RQ4 集成多尺度感受野与池化是否能提升在标准物体识别基准测试中的性能？
• RQ5 C-SVDDNet 在准确率与鲁棒性方面与最先进无监督特征学习方法相比表现如何？

主要发现

• C-SVDDNet 在 STL-10、MNIST、Holiday 和 Copydays 数据集上的性能与之前最先进方法相当或更优。
• 所提出的 C-SVDD 算法通过将 SVDD 球心置于局部密度模态，有效建模了聚类密度与分布，提升了对噪声的鲁棒性。
• 采用多尺度、多池化 SIFT 类全局表征可捕捉空间关系并增强特征区分能力。
• C-SVDD 目标可高效求解为线性规划问题，实现快速且可扩展的训练。
• 将 C-SVDD 与 K-means 及空间感知全局表征相结合，生成了更可靠且泛化能力更强的特征表征。
• 实证结果证实，所提方法在标准基准测试中优于标准 K-means 及传统无监督特征学习基线方法。