[论文解读] Beyond Holistic Object Recognition: Enriching Image Understanding with Part States

Cewu Lu, Hao Su+4 more|arXiv (Cornell University)|Dec 15, 2016

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

本文提出了一种新颖的框架，通过将物体部件建模为离散语义状态（如功能、可及性、交互等），利用基于RGB-S输入（RGB图像 + 部分分割图）的迭代神经网络，联合预测部件状态并迭代优化部件定位，从而丰富图像理解。该方法在部件状态预测和视觉关系识别任务中均达到当前最优性能，表明部件级语义显著提升了高层视觉任务的性能。

ABSTRACT

Important high-level vision tasks such as human-object interaction, image captioning and robotic manipulation require rich semantic descriptions of objects at part level. Based upon previous work on part localization, in this paper, we address the problem of inferring rich semantics imparted by an object part in still images. We propose to tokenize the semantic space as a discrete set of part states. Our modeling of part state is spatially localized, therefore, we formulate the part state inference problem as a pixel-wise annotation problem. An iterative part-state inference neural network is specifically designed for this task, which is efficient in time and accurate in performance. Extensive experiments demonstrate that the proposed method can effectively predict the semantic states of parts and simultaneously correct localization errors, thus benefiting a few visual understanding applications. The other contribution of this paper is our part state dataset which contains rich part-level semantic annotations.

研究动机与目标

• 为解决整体物体识别的局限性，通过建模物体部件的细粒度语义状态，以提升视觉理解能力。
• 利用人类标注者提供的自然语言描述，定义离散的、以物体为中心的部件状态词汇表（例如，'手握住'、'门把手被转动'）。
• 开发一种深度学习模型，通过迭代优化联合预测部件状态并校正部件定位错误。
• 基于包含15类物体的像素级部件标签和部件状态标注的新数据集，对方法进行基准测试。
• 展示部件状态在高层视觉任务（如视觉关系识别）中的实用性。

提出的方法

• 采用RGB-S输入表示方法，其中S为部件分割图像，以结合整体物体上下文与局部部件信息。
• 提出一种迭代部件状态推理网络，交替优化部件分割图与部件状态预测，以最小化误差。
• 利用部件状态先验知识指导部件边界的优化，从而同时提升分割与语义预测性能。
• 部件状态被定义为从人类标注短语描述（如'握住'、'推动'）中提取的离散语义标记，形成每类物体可管理的词汇表。
• 采用'其他事物'技巧，通过将非目标物体简称为'sth'，简化学习过程，减少语义冗余。
• 在视觉关系预测中，将部件状态向量（填充至长度72）拼接后使用SVM进行分类，并与基线方法进行融合。

实验结果

研究问题

• RQ1 离散部件状态是否能有效捕捉超越形状的丰富语义信息，如可及性、功能性和交互性？
• RQ2 联合预测部件状态与部件定位是否能同时提升两项任务的性能？
• RQ3 所提出的迭代网络在部件状态监督下，是否能有效改进部件分割？
• RQ4 与整体物体级特征相比，部件状态是否能提升视觉关系识别性能？
• RQ5 '其他事物'技巧是否在保留关键关系的同时有效减少语义冗余？

主要发现

• 与依赖整体物体特征的基线方法相比，该方法在视觉关系识别任务中实现了12 mAP的性能提升。
• 迭代部件状态推理网络显著减少了部件定位误差，同时提高了部件状态预测的准确性。
• 该方法在部件状态预测任务中优于基线模型，定性结果表明即使在如躯干等具有挑战性的部件上，也能实现准确的分割与语义标注。
• 使用部件状态可显式建模交互关系（如'手握住手机'），而整体特征无法捕捉此类细节。
• 无类别依赖的模型导致mAP下降8%，表明目前类别特定建模对最优性能仍为必要。
• 迭代过程缺乏理论上的停止准则，尽管迭代过程显示出逐步改进的特性，此点仍为一项局限。