[论文解读] Learning the semantic structure of objects from Web supervision

David Novotný, Diane Larlus+1 more|arXiv (Cornell University)|Jul 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 62被引用 7

一句话总结

本文提出一种弱监督方法，通过统一的外观-几何嵌入，从噪声较多的网络图像中学习物体的语义结构（包括部件及其几何关系）。通过利用非语义的中级特征作为几何参考，该方法实现了鲁棒的部件定位，并支持通过学习得到的视觉语义地图实现直观的视觉导航，在基准数据集上的表现优于当前最先进方法。

ABSTRACT

While recent research in image understanding has often focused on recognizing more types of objects, understanding more about the objects is just as important. Recognizing object parts and attributes has been extensively studied before, yet learning large space of such concepts remains elusive due to the high cost of providing detailed object annotations for supervision. The key contribution of this paper is an algorithm to learn the nameable parts of objects automatically, from images obtained by querying Web search engines. The key challenge is the high level of noise in the annotations; to address it, we propose a new unified embedding space where the appearance and geometry of objects and their semantic parts are represented uniformly. Geometric relationships are induced in a soft manner by a rich set of nonsemantic mid-level anchors, bridging the gap between semantic and non-semantic parts. We also show that the resulting embedding provides a visually-intuitive mechanism to navigate the learned concepts and their corresponding images.

研究动机与目标

• 在无需昂贵人工标注的情况下，大规模学习物体的语义部件及其几何关系。
• 解决网络监督数据中高噪声对部件检测带来的挑战。
• 在单一嵌入空间中统一表示物体及其部件，同时捕捉外观与几何信息。
• 通过学习得到的视觉语义地图，实现跨图像对完整物体及其部件的直观视觉导航。
• 证明非语义的中级图像块可作为有效几何锚点，用于学习语义部件。

提出的方法

• 提出一种统一的外观-几何嵌入（anchor-ag），在共享空间中联合建模视觉外观与几何关系。
• 使用非语义的中级图像块作为几何锚点，定义以物体为中心的参考坐标系，实现鲁棒的几何推理。
• 利用物体名称和部件名称的网络搜索查询进行嵌入训练，从噪声图像集合中获取弱监督信号。
• 将部件匹配建模为嵌入空间中的相似性搜索，最大化源区域与目标区域描述符之间的内积。
• 通过为网络图像标注检测到的部件及其几何关系，构建视觉语义地图，实现跨尺度导航。
• 采用两阶段匹配流程：首先通过嵌入相似性识别候选部件，再通过几何一致性进行精炼。

实验结果

研究问题

• RQ1 统一的嵌入空间是否能有效同时表示语义部件与完整物体，并保持其几何关系？
• RQ2 非语义的中级图像块是否可在噪声较多的网络数据中作为可靠几何锚点，用于学习语义部件？
• RQ3 在弱监督条件下，所提出的外观-几何嵌入与仅外观或仅几何的基线方法相比，在部件匹配任务中的表现如何？
• RQ4 所学习的模型在尺度变化（如从完整物体图像到放大后的部件图像）下是否具备良好的泛化能力？
• RQ5 视觉语义地图在多大程度上实现了跨网络图像的直观、基于概念的导航？

主要发现

• 所提出的 anchor-ag 嵌入在所有测试数据集上均优于仅外观的基线方法（a）和仅几何的基线方法（anchor-g），在汽车数据集上平均 IoU 提升 10%，在公共汽车数据集上提升 16%，超过当前最先进方法 [61]。
• 在 LFPW 人脸数据集上，该方法达到平均 IoU 0.41，尽管视角变化有限，仍比 [61] 高出 2 个百分点。
• 该方法在部件发现任务中表现出与当前最先进方法相当的判别能力，同时显著提升了语义匹配性能。
• 视觉语义地图实现了完整物体图像与部件级图像之间的无缝导航，展示了部件作为组件与语义类别双重属性的特性。
• 使用非语义锚点可提升对噪声的鲁棒性，并在不同图像尺度与视角下实现一致的几何推理。
• 该方法在大规模网络数据上具有可扩展性与有效性，无需昂贵的边界框标注或复杂的部件发现处理流程。