[论文解读] Matching objects across the textured-smooth continuum

Ognjen Arandjelović|arXiv (Cornell University)|Jun 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 9被引用 5

一句话总结

该论文提出了一种新颖的方法，通过使用数据特定学习的相对权重融合纹理和形状特征，实现视角变化下的3D物体匹配。该方法引入了一种基于直方图的表示方式，结合了基于SIFT的视觉词用于纹理，以及一种新的边界法向方向局部描述符用于明显形状，显著优于纯纹理或纯形状的方法，尤其在大视角变化下表现更优。

ABSTRACT

The problem of 3D object recognition is of immense practical importance, with the last decade witnessing a number of breakthroughs in the state of the art. Most of the previous work has focused on the matching of textured objects using local appearance descriptors extracted around salient image points. The recently proposed bag of boundaries method was the first to address directly the problem of matching smooth objects using boundary features. However, no previous work has attempted to achieve a holistic treatment of the problem by jointly using textural and shape features which is what we describe herein. Due to the complementarity of the two modalities, we fuse the corresponding matching scores and learn their relative weighting in a data specific manner by optimizing discriminative performance on synthetically distorted data. For the textural description of an object we adopt a representation in the form of a histogram of SIFT based visual words. Similarly the apparent shape of an object is represented by a histogram of discretized features capturing local shape. On a large public database of a diverse set of objects, the proposed method is shown to outperform significantly both purely textural and purely shape based approaches for matching across viewpoint variation.

研究动机与目标

• 解决现有方法将有纹理和无纹理物体视为不同情况的局限性，转而对从有纹理到无纹理的连续体上的物体外观进行建模。
• 通过利用从物体边界提取的明显形状特征，克服基于关键点的方法在纹理平滑物体上的失败问题。
• 开发一种统一的表示方法，结合纹理和形状描述符，以提升在视角变化下的识别鲁棒性。
• 以数据特定的方式学习纹理与形状匹配得分之间的最优融合权重，以最大化判别性能。
• 在多样化且公开可用的物体数据库上，在不同视角条件下验证该方法的有效性。

提出的方法

• 使用从显著图像区域提取的SIFT-based视觉词直方图表示纹理。
• 基于局部边界法向方向定义一种新型局部形状描述符，以捕捉显著的形状片段。
• 采用类似于二维图像中兴趣点检测的方法检测显著形状片段，聚焦于边界特征。
• 通过离散化局部边界法向方向构建形状词汇表，形成直方图表示。
• 使用学习到的、数据特定的加权方案融合纹理和形状匹配得分，以优化判别性能。
• 通过在具有不同视角差异的合成扭曲训练数据上优化识别准确率来训练融合权重。

实验结果

研究问题

• RQ1 如何联合建模纹理和形状特征，以提升在视角变化下的3D物体识别性能？
• RQ2 在物体识别中，纹理与形状的相对贡献是什么？这一贡献是否可以针对每个数据集进行学习？
• RQ3 是否能够通过结合两种模态的统一表示，超越纯纹理或纯形状的方法？
• RQ4 当训练图像与查询图像之间的视角差异增大时，所提出的融合方法的性能如何变化？
• RQ5 基于边界法向方向的直方图形状描述符是否能有效捕捉平滑物体的判别性形状信息？

主要发现

• 在20°偏航角差异下，所提出的融合方法将rank-1错误率从纯形状方法的40.1%和纯纹理方法的26.8%降低至11.9%。
• 在30°偏航角差异下，rank-1错误率从纯纹理方法的10.0%和纯形状方法的15.4%降至融合方法的3.6%。
• 在大视角变化（约60°）下，融合方法的正确识别率接近单一模态方法的两倍。
• 随着排名阈值的提高，纯纹理与纯形状方法之间的性能差距扩大，表明融合方法在更高排名时收益最大。
• 在60°偏航角差异下，该方法的rank-1识别率达到76.6%，显著优于纯纹理方法（23.4%）和纯形状方法（20.6%）的基线。
• 学习到的融合权重能有效适应数据，表明在ALOI数据集中纹理更具判别性，该数据集更接近纹理连续体的有纹理端。