[论文解读] Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network

Yahui Liu, Jian Yao+3 more|arXiv (Cornell University)|May 12, 2017

Advanced Neural Network Applications参考文献 9被引用 5

一句话总结

该论文提出TD-CEDN，一种用于目标轮廓检测的自顶向下全卷积编码器-解码器网络，通过跳跃连接和深度监督，以分步方式逐步优化特征。通过利用多尺度和多层级特征，并借助由深度监督引导的改进去卷积上采样过程，该方法在BSDS500（ODS F值：0.788）、PASCAL VOC2012（0.588）和NYU Depth（0.735）数据集上实现了最先进性能。

ABSTRACT

We develop a novel deep contour detection algorithm with a top-down fully convolutional encoder-decoder network. Our proposed method, named TD-CEDN, solves two important issues in this low-level vision problem: (1) learning multi-scale and multi-level features; and (2) applying an effective top-down refined approach in the networks. TD-CEDN performs the pixel-wise prediction by means of leveraging features at all layers of the net. Unlike skip connections and previous encoder-decoder methods, we first learn a coarse feature map after the encoder stage in a feedforward pass, and then refine this feature map in a top-down strategy during the decoder stage utilizing features at successively lower layers. Therefore, the deconvolutional process is conducted stepwise, which is guided by Deeply-Supervision Net providing the integrated direct supervision. The above proposed technologies lead to a more precise and clearer prediction. Our proposed algorithm achieved the state-of-the-art on the BSDS500 dataset (ODS F-score of 0.788), the PASCAL VOC2012 dataset (ODS F-score of 0.588), and and the NYU Depth dataset (ODS F-score of 0.735).

研究动机与目标

• 为解决在低层次视觉任务中学习多尺度和多层级特征以实现精确目标轮廓检测的挑战。
• 通过在解码阶段引入自顶向下的优化策略，超越标准跳跃连接，提升轮廓预测质量。
• 通过结构化、分步方式整合来自较低编码器层的特征，增强去卷积上采样过程中的特征表示。
• 在标准轮廓检测基准数据集（包括BSDS500、PASCAL VOC2012和NYU Depth）上实现最先进性能。
• 提供一种鲁棒、端到端、全卷积的框架，可在多种图像领域和输入类型（RGB、深度图）下良好泛化。

提出的方法

• 网络使用基于VGG-16的编码器（至pool5层），并引入批归一化和ReLU激活函数，以提取分层特征。
• 解码阶段通过改进模块执行分步上采样，该模块将去卷积特征与来自逐层更低的编码器层的特征进行拼接。
• 对拼接后的特征图应用卷积层，以学习优化后的高层表示，替代标准的无池化或去卷积操作。
• 在解码器的每个侧输出层应用深度监督，实现在多尺度上的直接监督，并改善梯度流动。
• 最终输出通过拼接所有侧输出预测生成，整合多尺度和多层级特征，实现最终的像素级轮廓预测。
• 对于多模态输入（如RGB与深度图），通过平均融合预测结果，使在深度增强数据集（如NYU Depth）上获得性能提升。

实验结果

研究问题

• RQ1 在全卷积编码器-解码器网络中，自顶向下的优化策略是否能超越标准跳跃连接，进一步提升轮廓检测性能？
• RQ2 在解码器的多个层级应用深度监督，如何影响多尺度和多层级特征的学习，从而提升轮廓检测性能？
• RQ3 与端到端去卷积相比，对去卷积特征进行分步、逐层的优化，在提升轮廓精度和降低噪声方面能带来多大程度的改善？
• RQ4 所提出的网络能否在多样化数据集上实现良好泛化，包括仅RGB输入（如BSDS500、PASCAL VOC2012）和RGB-D输入（如NYU Depth）基准？
• RQ5 在所提出的框架中，将深度图与RGB特征结合，是否能提升轮廓检测性能？

主要发现

• TD-CEDN在BSDS500数据集上实现了最先进ODS F值0.788，优于先前方法（包括CEDN和HED）。
• 在PASCAL VOC2012验证集上，微调后的TD-CEDN模型实现了ODS F值0.588，表明其在微调后具备强大的泛化能力与性能提升。
• 在NYU Depth数据集上，模型实现了ODS F值0.735，深度增强预测相比仅RGB输入结果提升了0.017。
• 视觉对比显示，TD-CEDN生成的轮廓更清晰、更精确，噪声更少，且在复杂局部区域的定位能力更强。
• 在定量指标和视觉质量方面，该模型均优于HED和CEDN，尤其在检测细小且连续的物体边界方面表现更优。
• 消融实验表明，自顶向下的优化策略和深度监督显著提升了性能，其中改进的去卷积模块在特征优化中起到关键作用。