[论文解读] Deep Hierarchical Parsing for Semantic Segmentation

Abhishek Sharma, Oncel Tuzel+1 more|arXiv (Cornell University)|Mar 9, 2015

Advanced Image and Video Retrieval Techniques参考文献 19被引用 15

一句话总结

本论文通过在递归上下文传播网络（RCPN）中引入两项关键创新，提出了一种用于语义分割的深度层次解析方法：（1）在解析树的纯节点上引入分类损失，以缓解旁路错误路径问题并提升上下文学习能力；（2）引入一种树状结构的马尔可夫随机场（MRF），以建模解析树节点之间的层次依赖关系。所提出的模型TM-RCPN在Stanford Background、SIFT-Flow和Daimler城市数据集上均取得了当前最优性能，显著提升了像素级准确率与平均类别准确率，同时保持了实时推理的潜力。

ABSTRACT

This paper proposes a learning-based approach to scene parsing inspired by the deep Recursive Context Propagation Network (RCPN). RCPN is a deep feed-forward neural network that utilizes the contextual information from the entire image, through bottom-up followed by top-down context propagation via random binary parse trees. This improves the feature representation of every super-pixel in the image for better classification into semantic categories. We analyze RCPN and propose two novel contributions to further improve the model. We first analyze the learning of RCPN parameters and discover the presence of bypass error paths in the computation graph of RCPN that can hinder contextual propagation. We propose to tackle this problem by including the classification loss of the internal nodes of the random parse trees in the original RCPN loss function. Secondly, we use an MRF on the parse tree nodes to model the hierarchical dependency present in the output. Both modifications provide performance boosts over the original RCPN and the new system achieves state-of-the-art performance on Stanford Background, SIFT-Flow and Daimler urban datasets.

研究动机与目标

• 解决RCPN架构中因旁路错误路径导致的上下文传播受阻问题，从而影响训练过程中的有效上下文传播。
• 通过利用随机解析树中内部节点（即纯节点）的预测结果作为额外监督信号，提升特征表示能力与泛化性能。
• 基于内部节点估计的标签分布，构建基于树状结构的MRF，以建模语义预测中的层次依赖关系。
• 在保持原始RCPN框架速度优势的前提下，实现语义分割的最先进性能。

提出的方法

• 引入一种改进的损失函数，包含随机二叉解析树中内部节点的分类损失——特别是对应于单一语义类别（即纯节点）的损失，以增强梯度信号并防止上下文传播被绕过。
• 利用纯节点预测的标签分布作为先验知识，在解析树节点上定义一种树状结构的MRF，以强制预测结果在层次结构上保持一致性。
• 通过结构化计算图的反向传播，端到端训练模型，将原始RCPN架构与新损失函数及MRF推理机制相结合。
• 采用多尺度CNN特征提取视觉表示，随后经过语义映射器、递归组合器、根特征聚合器与解组合器，实现全局上下文信息的传播。
• 在推理阶段应用MRF推理，通过从父节点向子节点传播标签一致性，对预测结果进行优化。
• 通过联合目标函数优化像素级分类准确率，该函数结合了像素级交叉熵损失、新的纯节点损失以及基于MRF的损失。

实验结果

研究问题

• RQ1 RCPN架构中的旁路错误路径在多大程度上损害了上下文特征学习并导致性能下降？
• RQ2 在解析树的内部纯节点上引入分类损失，是否能够提升模型泛化能力并减少上下文传播的绕过现象？
• RQ3 基于解析树节点的树状结构MRF，在多大程度上能通过建模层次依赖关系来提升预测一致性与分割准确率？
• RQ4 纯节点监督与树状MRF的结合是否能在标准语义分割基准上实现最先进性能？

主要发现

• 所提出的纯节点RCPN（PN-RCPN）在Stanford Background数据集上实现了80.9%的像素级准确率（PPA）与39.1%的平均类别准确率（MCA），优于原始RCPN（79.6% PPA，33.6% MCA）。
• 树状MRF RCPN（TM-RCPN）在Stanford Background数据集上实现了80.8% PPA与38.4% MCA，验证了通过MRF推理实现层次建模的有效性。
• 在Daimler城市数据集上，TM-RCPN实现了94.5% PPA与90.1% MCA，性能达到或超过依赖立体视觉、深度信息与多帧时序数据的先前方法。
• 该模型保持了实时推理潜力，在使用实时超像素化处理时，单张图像的总推理时间在NVIDIA Titan Black GPU上低于100ms。
• 纯节点监督的引入通过增强深层网络的梯度信号，降低了RCPN退化为逐像素多层网络的风险。
• MRF模块将Daimler城市数据集中动态物体（如汽车、行人）的IoU提升至73.8%，表明其对复杂、小尺度语义类别的处理能力更优。