[论文解读] Joint Object and Part Segmentation using Deep Learned Potentials

Peng Wang, Xiaohui Shen+4 more|arXiv (Cornell University)|May 1, 2015

Advanced Neural Network Applications参考文献 55被引用 27

一句话总结

该论文提出了一种联合深度学习框架，通过语义组合部件（SCP）和全连接条件随机场（FCRF）实现同步的语义对象与部件分割。通过训练双通道全卷积网络（FCN）以预测SCP和对象势能，并利用FCRF引入长距离上下文来优化预测，该方法实现了最先进性能，在部件分割上较之前方法提升超过5%的平均交并比（IOU），在对象分割上提升5.3%。

ABSTRACT

Segmenting semantic objects from images and parsing them into their respective semantic parts are fundamental steps towards detailed object understanding in computer vision. In this paper, we propose a joint solution that tackles semantic object and part segmentation simultaneously, in which higher object-level context is provided to guide part segmentation, and more detailed part-level localization is utilized to refine object segmentation. Specifically, we first introduce the concept of semantic compositional parts (SCP) in which similar semantic parts are grouped and shared among different objects. A two-channel fully convolutional network (FCN) is then trained to provide the SCP and object potentials at each pixel. At the same time, a compact set of segments can also be obtained from the SCP predictions of the network. Given the potentials and the generated segments, in order to explore long-range context, we finally construct an efficient fully connected conditional random field (FCRF) to jointly predict the final object and part labels. Extensive evaluation on three different datasets shows that our approach can mutually enhance the performance of object and part segmentation, and outperforms the current state-of-the-art on both tasks.

研究动机与目标

• 通过联合建模对象与部件分割任务，解决两者之间的相互依赖性，以提高准确性。
• 通过共享语义组合部件（SCP）减少相似对象类别间部件标注的歧义性（例如马与牛的腿）。
• 通过全连接条件随机场（FCRF）利用长距离上下文关系，以优化对象与部件的预测。
• 通过端到端、一致的联合训练与推理，避免顺序处理流程中的误差传播。

提出的方法

• 引入语义组合部件（SCP）以将不同对象类别中视觉与结构相似的部件进行分组（例如马与牛的腿）。
• 训练双通道全卷积网络（FCN），在多个图像尺度上预测SCP势能与对象势能。
• 将SCP势能与对象势能拼接后，通过额外的卷积层以优化联合对象势能。
• 从SCP预测生成紧凑的区域提议，作为全连接条件随机场（FCRF）中的节点。
• 利用FCRF联合推断最终的对象与部件标签，通过长距离上下文约束确保一致性。
• 通过探索长距离依赖关系应用FCRF以优化预测，提升边界精度并减少局部歧义。

实验结果

研究问题

• RQ1 与顺序或独立方法相比，联合学习对象与部件分割是否能提升两个任务的性能？
• RQ2 共享部件表征（SCP）如何减少相似对象类别间部件标注的歧义性？
• RQ3 通过全连接条件随机场（FCRF）引入长距离上下文，在多大程度上提升了对象与部件分割的准确性？
• RQ4 端到端的联合训练与推理是否能减少从对象分割到部件分割的误差传播？

主要发现

• 所提方法在对象分割上达到78.25%的平均IOU，较基线FCN（72.99%）提升5.3%。
• 在语义部件分割上，该方法达到48.16%的平均IOU，较之前最先进方法HC（43.11%）提升5.05%。
• 包含联合FCN与FCRF推理的完整模型在对象分割上比无FCRF的变体提升超过4%，证明了长距离上下文的价值。
• 与FCN基线相比，使用联合势能的FCRF使性能提升4%，表明联合学习为图模型推理提供了更优的证据。
• 定性结果表明，模型能成功解决局部歧义——例如，尽管马与牛的腿外观相似，仍能正确识别牛的腿——这得益于对象尺度的上下文信息。
• 该方法优于顺序处理流程（如HC），后者因对象掩码不准确而影响部件标注，导致误差传播。