[论文解读] 3D-Assisted Image Feature Synthesis for Novel Views of an Object

Hao Su, Fan Wang+2 more|arXiv (Cornell University)|Nov 26, 2014

Advanced Image and Video Retrieval Techniques被引用 18

一句话总结

本文提出一种3D辅助特征合成方法，仅通过单张输入图像和同一类别的3D模型集合，即可为物体的新型视角生成图像特征。通过在不同视角间识别'代理'块（surrogate patches）并学习来自3D模型视角的线性组合，该方法合成出视角不变的特征，从而实现鲁棒的视角无关图像比较，在细粒度检索与分类任务中取得显著性能提升。

ABSTRACT

Comparing two images in a view-invariant way has been a challenging problem in computer vision for a long time, as visual features are not stable under large view point changes. In this paper, given a single input image of an object, we synthesize new features for other views of the same object. To accomplish this, we introduce an aligned set of 3D models in the same class as the input object image. Each 3D model is represented by a set of views, and we study the correlation of image patches between different views, seeking what we call surrogates --- patches in one view whose feature content predicts well the features of a patch in another view. In particular, for each patch in the novel desired view, we seek surrogates from the observed view of the given image. For a given surrogate, we predict that surrogate using linear combination of the corresponding patches of the 3D model views, learn the coefficients, and then transfer these coefficients on a per patch basis to synthesize the features of the patch in the novel view. In this way we can create feature sets for all views of the latent object, providing us a multi-view representation of the object. View-invariant object comparisons are achieved simply by computing the $L^2$ distances between the features of corresponding views. We provide theoretical and empirical analysis of the feature synthesis process, and evaluate the proposed view-agnostic distance (VAD) in fine-grained image retrieval (100 object classes) and classification tasks. Experimental results show that our synthesized features do enable view-independent comparison between images and perform significantly better than traditional image features in this respect.

研究动机与目标

• 通过仅从单张输入图像合成新型视角的特征，实现视角无关的图像比较。
• 利用同一类别下模型集合提供的3D形状先验，解决大视角变化下特征不稳定的挑战。
• 在保持物体详细几何与物理属性的同时，实现对外部因素（如视角、光照）的不变性。
• 利用2.5D形状描述符构建多视角表征，实现在不同视角间的一致性比较。
• 在细粒度图像检索与分类任务上评估所提方法，证明其在性能上显著优于基线特征。

提出的方法

• 利用同一物体类别下3D模型集合作为非参数先验，指导新型视角的特征合成。
• 通过跨视角相关性分析，识别'代理'块——即在某一视角中其特征能良好预测另一视角中对应块特征的图像块。
• 针对每个新型视角的图像块，利用3D模型集合中对应块的特征，学习线性系数以预测其特征。
• 将学习到的系数按块传递，用于合成新型视角的特征，从而构建完整的多视角表征。
• 使用来自对应视角的合成特征之间的L²距离作为视角无关距离（VAD），用于图像比较。
• 将该方法应用于多种特征类型，包括HOG和CNN特征（如CaffeNet），证明其在不同描述符间的泛化能力。

实验结果

研究问题

• RQ1 我们能否仅通过单张输入图像和3D模型集合，为物体的新型视角合成可靠的图像特征？
• RQ2 我们如何识别并利用跨视角特征相关性（代理块）来预测未见视角中的特征？
• RQ3 所提出的3D辅助特征合成方法在细粒度检索与分类任务中，对视角无关图像比较的改进程度如何？
• RQ4 该方法在不同特征类型（如手工设计的HOG与深度学习-based的CNN特征）上的表现如何？
• RQ5 该方法能否通过为不同视角中的特定区域合成特征，支持基于部件的图像检索？

主要发现

• 所提出的视角无关距离（VAD）显著提升了细粒度图像检索性能，AUC达到0.694，优于基线HOG描述符的0.635。
• 在FGVC-aircraft数据集上，该方法在细粒度分类任务中达到60.3%的准确率，优于基线的48.7%以及使用边界框改进后的基线（56.1%）。
• 该方法在不同特征类型间具有良好的泛化能力：使用CaffeNet特征时，fc7层的性能从基线L2的0.748提升至VAD的0.788。
• 支持基于部件的图像检索：用户可在查询图像中指定一个区域，系统将检索出在不同视角中对应部位外观相似的图像。
• 代理区域发现方法在类别级别也有效，尽管未来工作可进一步结合对称性、部件分解等几何属性以实现更精细的预测。
• 实证与理论分析均证实，该特征合成过程在大视角变化下具有稳定性和鲁棒性。