[论文解读] Convolutional Oriented Boundaries: From Image Segmentation to High-Level Tasks

Kevis-Kokitsi Maninis, Jordi Pont-Tuset+2 more|arXiv (Cornell University)|Jan 17, 2017

Advanced Neural Network Applications参考文献 48被引用 4

一句话总结

本文提出卷积定向边界（COB），一种计算效率高的方法，仅通过一次前向传播预训练的CNN，即可生成多尺度、有方向的轮廓以及分层的区域分割。COB通过联合预测轮廓强度和方向，采用一种新颖的稀疏边界表示法，在PASCAL和MS-COCO等多个基准测试中，实现了轮廓检测、语义分割和目标提议生成的最先进性能。

ABSTRACT

We present Convolutional Oriented Boundaries (COB), which produces multiscale oriented contours and region hierarchies starting from generic image classification Convolutional Neural Networks (CNNs). COB is computationally efficient, because it requires a single CNN forward pass for multi-scale contour detection and it uses a novel sparse boundary representation for hierarchical segmentation; it gives a significant leap in performance over the state-of-the-art, and it generalizes very well to unseen categories and datasets. Particularly, we show that learning to estimate not only contour strength but also orientation provides more accurate results. We perform extensive experiments for low-level applications on BSDS, PASCAL Context, PASCAL Segmentation, and NYUD to evaluate boundary detection performance, showing that COB provides state-of-the-art contours and region hierarchies in all datasets. We also evaluate COB on high-level tasks when coupled with multiple pipelines for object proposals, semantic contours, semantic segmentation, and object detection on MS-COCO, SBD, and PASCAL; showing that COB also improves the results for all tasks.

研究动机与目标

• 开发一种通用且高效的框架，将预训练的CNN转化为高质量的轮廓与区域检测器，适用于低层次和高层次视觉任务。
• 通过联合预测轮廓强度与方向，克服现有边界检测方法的局限性，提升准确率与泛化能力。
• 利用深度CNN的高层特征，消除轮廓分组中计算成本高昂的全局化步骤。
• 通过在多样化的数据集与任务（包括语义分割与目标检测）上应用该方法，展示其模块化与可迁移性。
• 提供一个公开可用、可重用的框架，使未来基于基础CNN架构进步的感知分组研究成为可能。

提出的方法

• COB通过一次前向传播处理预训练的分类CNN（如ResNet），提取用于轮廓预测的多尺度特征图。
• 引入侧支路，在多个尺度上同时预测轮廓强度与方向，实现多尺度、定向轮廓检测。
• 提出一种新颖的稀疏边界表示法，高效编码轮廓信号，并通过超度量轮廓图（UCMs）实现快速分层区域分组。
• 利用组合分组算法将多尺度UCMs融合为单一分层分割结构。
• COB的输出与下游流程（如目标提议生成、语义分割和目标检测）兼容，可在不重新训练的情况下提升性能。
• 该框架设计为模块化，可无缝集成新出现的基底CNN架构。

实验结果

研究问题

• RQ1 与仅预测强度的方法相比，联合预测轮廓强度与方向是否能显著提升边界检测的准确率？
• RQ2 仅通过一次CNN前向传播，是否足以在无需额外后处理的情况下生成高质量、多尺度、定向的轮廓与分层区域？
• RQ3 当存在高层特征时，COB是否能消除对全局轮廓正则化（如谱聚类分割）的需求？
• RQ4 COB在未见类别与数据集上，尤其是在目标检测与语义分割等高层次视觉任务中的泛化能力如何？
• RQ5 在效率与分割质量方面，COB的稀疏边界表示相较于密集表示有何差异？

主要发现

• 在BSDS500、PASCAL Context、PASCAL VOC和NYUD数据集上，COB在边界检测任务中达到最先进性能，每张图像推理时间仅0.8秒。
• 在PASCAL VOC 2012上，COB生成的目标提议使Fast-RCNN目标检测mAP提升1.5个百分点（从76.7%提升至78.2%），且无需重新训练。
• 在语义分割任务中，COB生成的超像素显著提升了边界检测准确率，尤其在减少误报和优化边缘区域方面表现优异，VOC与PASCAL数据集的定性结果已验证此效果。
• COB在MS-COCO数据集上表现出色，无需微调即可生成具有竞争力的目标提议，展现出强大的零样本迁移能力。
• 该方法消除了对谱图分割等全局化正则化步骤的需求，显著降低计算成本，同时保持或提升性能。
• COB在语义边界检测任务中创下新SOTA纪录，VOC 2007数据集上mAP达到76.0，优于先前所有方法。