[论文解读] Deep Structured Scene Parsing by Learning with Image Descriptions

Liang Lin, Guangrun Wang+4 more|arXiv (Cornell University)|Apr 8, 2016

Advanced Image and Video Retrieval Techniques参考文献 33被引用 7

一句话总结

该论文提出了一种弱监督的深度CNN-RNN框架，用于结构化场景解析，通过图像描述学习层次化物体结构和物体间关系，而无需人工标注。通过使用期望最大化（EM）训练策略，将句子中的语义树与场景配置对齐，该模型在PASCAL VOC 2012上实现了最先进性能，端到端联合学习下结构准确率达到64.2%，关系准确率达到62.8%。

ABSTRACT

This paper addresses a fundamental problem of scene understanding: How to parse the scene image into a structured configuration (i.e., a semantic object hierarchy with object interaction relations) that finely accords with human perception. We propose a deep architecture consisting of two networks: i) a convolutional neural network (CNN) extracting the image representation for pixelwise object labeling and ii) a recursive neural network (RNN) discovering the hierarchical object structure and the inter-object relations. Rather than relying on elaborative user annotations (e.g., manually labeling semantic maps and relations), we train our deep model in a weakly-supervised manner by leveraging the descriptive sentences of the training images. Specifically, we decompose each sentence into a semantic tree consisting of nouns and verb phrases, and facilitate these trees discovering the configurations of the training images. Once these scene configurations are determined, then the parameters of both the CNN and RNN are updated accordingly by back propagation. The entire model training is accomplished through an Expectation-Maximization method. Extensive experiments suggest that our model is capable of producing meaningful and structured scene configurations and achieving more favorable scene labeling performance on PASCAL VOC 2012 over other state-of-the-art weakly-supervised methods.

研究动机与目标

• 解决从图像中生成人类可感知的、结构化场景配置的挑战，而无需昂贵的人工标注。
• 通过利用图像级别描述性句子的弱监督，学习层次化物体结构和物体间关系。
• 开发一种联合训练框架，以弱监督方式整合CNN进行特征提取和RNN进行结构推理。
• 通过同时建模语义分割和组合式场景结构，提升场景解析性能。

提出的方法

• 采用双分支深度架构，结合卷积神经网络（CNN）进行像素级特征提取，以及递归神经网络（RNN）用于建模层次化物体结构和关系。
• 使用标准解析器和WordNet将图像描述解析为语义树，名词表示物体类别，动词短语表示交互关系。
• 采用类期望最大化（EM）的训练过程，交替估计从语义树推断出的潜在场景配置，并通过反向传播更新CNN/RNN参数。
• 学习目标联合优化物体标签的正确性（通过CNN）和场景层次结构的连贯性（通过RNN），由句子导出的语义树引导。
• 模型执行CNN和RNN参数的端到端联合学习，消融研究对比了固定、独立和联合训练策略。

实验结果

研究问题

• RQ1 来自图像描述的弱监督是否能有效引导无人工标注的结构化场景配置学习？
• RQ2 与独立或固定训练相比，CNN和RNN的端到端联合训练在结构化场景解析方面有何改进？
• RQ3 从图像描述中推导出的语义树在多大程度上能准确反映真实场景的层次和关系结构？
• RQ4 基于RNN的结构推理整合是否显著提升场景解析性能，超越标准语义分割？

主要发现

• 所提方法在PASCAL VOC 2012验证集上实现64.2%的结构准确率和62.8%的关系准确率，采用端到端联合学习，优于所有消融设置。
• 固定RNN的模型性能显著低于固定CNN的模型，表明RNN在结构推理中起着更关键的作用。
• 独立学习CNN和RNN的性能优于固定其中一个网络，但仍与端到端联合学习存在显著差距。
• 联合训练中采用联合监督的融合策略相比瀑布式策略，IoU提升10.2%，证明了联合优化的优势。
• 该方法在PASCAL VOC 2012上实现了优异的语义分割性能，优于其他最先进的弱监督方法。