[论文解读] Feature Learning by Multidimensional Scaling and its Applications in Object Recognition

Quan Wang, Kim L. Boyer|arXiv (Cornell University)|Jun 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 38被引用 4

一句话总结

该论文提出了一种新颖的特征学习框架，通过在语义敏感的图像距离上应用多维缩放（MDS）——具体为图像欧氏距离（IMED）和空间金字塔匹配（SPM）距离——来学习固定长度的图像表征。该方法在汽车识别任务中取得了最先进性能，基于SPM的MDS特征在所有特征维度下均达到100%精确率和99%召回率，显著优于PCA、核PCA以及直接处理SPM向量的方法。

ABSTRACT

We present the MDS feature learning framework, in which multidimensional scaling (MDS) is applied on high-level pairwise image distances to learn fixed-length vector representations of images. The aspects of the images that are captured by the learned features, which we call MDS features, completely depend on what kind of image distance measurement is employed. With properly selected semantics-sensitive image distances, the MDS features provide rich semantic information about the images that is not captured by other feature extraction techniques. In our work, we introduce the iterated Levenberg-Marquardt algorithm for solving MDS, and study the MDS feature learning with IMage Euclidean Distance (IMED) and Spatial Pyramid Matching (SPM) distance. We present experiments on both synthetic data and real images --- the publicly accessible UIUC car image dataset. The MDS features based on SPM distance achieve exceptional performance for the car recognition task.

研究动机与目标

• 开发一种新型特征学习框架，利用图像距离度量而非原始像素强度或手工设计特征。
• 探索在高层图像距离上应用多维缩放（MDS）以学习紧凑且富含语义的特征表征。
• 评估基于SPM和IMED距离的MDS特征在真实世界图像识别任务中的性能。
• 提出一种高效的两阶段迭代Levenberg-Marquardt算法用于MDS训练与编码。
• 在UIUC汽车数据集上验证该框架，并与已有的特征提取技术进行比较。

提出的方法

• 该框架将MDS应用于成对图像距离，将高层差异性转换为低维向量表征。
• 采用两阶段迭代Levenberg-Marquardt算法高效求解MDS优化问题，实现模型训练与新数据编码的统一。
• 图像距离通过IMED（基于图像空间中像素级欧氏距离）和SPM（手工特征的空间金字塔匹配）计算。
• 所得MDS特征经过归一化后用于训练RBF核SVM进行分类。
• 通过将特征向量长度从1变化到20，并与多种基线方法比较，评估该方法的性能。
• 该框架支持灵活的距离度量方式，可扩展至其他语义敏感距离（如IRM）。

实验结果

研究问题

• RQ1 将MDS应用于语义敏感图像距离是否能产生比传统特征学习方法更具判别性的图像特征？
• RQ2 MDS特征在目标识别任务中与PCA、核PCA及直接SPM向量处理相比表现如何？
• RQ3 将SPM距离作为MDS输入是否能捕捉到比其他距离度量更丰富的语义结构？
• RQ4 所提出的两阶段迭代Levenberg-Marquardt算法在MDS训练与编码中的效率如何？
• RQ5 MDS特征学习框架能否推广至更大规模、多类别图像数据集？

主要发现

• 基于SPM的MDS特征在所有特征维度下均实现100%精确率和99%召回率，优于所有基线方法。
• SPM1-MDS与SPM2-MDS方法在100%精确率和99%召回率处达到饱和，而PCA与核PCA分别在98%和96%处趋于平稳。
• 在低维特征空间（m ≤ 5）下，SPM-MDS方法保持高性能，而PCA与核PCA的准确率极低。
• 二维空间中的特征散点图显示，使用SPM-MDS特征时，汽车与非汽车类别之间具有清晰的分离。
• 从SPM距离学习到的MDS特征显著优于直接对SPM向量进行PCA处理，证明了MDS在捕捉数据集结构方面的必要性。
• 两阶段迭代Levenberg-Marquardt算法展现出良好的计算性能，目前已有MATLAB实现，正迁移至C/C++以提升效率。