[论文解读] Deep Deconvolutional Networks for Scene Parsing

Rahul Mohan|arXiv (Cornell University)|Nov 15, 2014

Advanced Image and Video Retrieval Techniques参考文献 21被引用 56

一句话总结

该论文提出了一种新颖的深度反卷积网络架构，通过结合反卷积神经网络与卷积神经网络，学习超越边缘基元的更高阶图像结构，从而提升场景解析性能。该方法采用多图块训练以捕捉空间先验信息，在无需后处理或超像素的情况下，在四个基准数据集上实现了最先进性能。

ABSTRACT

Scene parsing is an important and challenging prob- lem in computer vision. It requires labeling each pixel in an image with the category it belongs to. Tradition- ally, it has been approached with hand-engineered features from color information in images. Recently convolutional neural networks (CNNs), which automatically learn hierar- chies of features, have achieved record performance on the task. These approaches typically include a post-processing technique, such as superpixels, to produce the final label- ing. In this paper, we propose a novel network architecture that combines deep deconvolutional neural networks with CNNs. Our experiments show that deconvolutional neu- ral networks are capable of learning higher order image structure beyond edge primitives in comparison to CNNs. The new network architecture is employed for multi-patch training, introduced as part of this work. Multi-patch train- ing makes it possible to effectively learn spatial priors from scenes. The proposed approach yields state-of-the-art per- formance on four scene parsing datasets, namely Stanford Background, SIFT Flow, CamVid, and KITTI. In addition, our system has the added advantage of having a training system that can be completely automated end-to-end with- out requiring any post-processing.

研究动机与目标

• 通过学习超越基本边缘基元的更丰富、更高阶的图像结构，提升场景解析性能。
• 消除对手动设计特征或后处理技术（如超像素）的依赖。
• 开发一个端到端可训练的系统，直接处理原始像素输入。
• 通过一种新颖的多图块训练策略学习有效的空间先验信息。

提出的方法

• 结合深度反卷积网络与卷积神经网络，以学习分层的、结构化的特征。
• 采用无监督的、端到端的反卷积层训练过程，通过 L1 正则化从特征图重建输入图像。
• 使用包含重建损失和特征图上 L1 正则化的损失函数，以学习稀疏、过完备的特征。
• 引入多图块训练策略，通过在每个像素周围采样多个图像图块来建模空间上下文。
• 利用最大池化层中的开关机制，实现可上采样的反卷积操作。
• 在原始像素输入上端到端训练整个网络，无需依赖超像素或手工设计的特征。

实验结果

研究问题

• RQ1 反卷积神经网络是否能在场景解析任务中学习到比标准 CNN 更鲁棒、更具洞察力的图像表征？
• RQ2 与多尺度学习或无特殊训练相比，多图块训练在捕捉空间先验信息方面的有效性如何？
• RQ3 将反卷积网络与卷积网络结合是否能提升场景解析基准测试的性能？
• RQ4 所提出的架构在多大程度上降低了深层网络对随机初始化的敏感性？
• RQ5 在原始像素上端到端训练的系统是否能超越需要后处理或超像素的方法？

主要发现

• 所提出的架构在四个场景解析数据集（Stanford Background、SIFT Flow、CamVid 和 KITTI）上均达到了最先进性能。
• 在前三个数据集上，多图块训练相比多尺度学习平均提升了 0.67% 的像素级准确率，相比无特殊训练提升了 1.02%。
• 在 KITTI 数据集上，多图块训练相比多尺度学习将最大 F1 分数提升了 1.62%，相比无特殊训练提升了 3.28%。
• 反卷积网络在训练过程中表现出显著更高的稳定性，相较于深度 CNN，在 500 次随机初始化运行中表现出更低的方差。
• 该系统在不同深度和初始化种子下均表现出一致的性能，表明对局部极小值具有鲁棒性。
• 该网络在学习复杂空间结构（如边缘交汇点、平行线和几何形状）方面优于 CNN。