[论文解读] Fast Edge Detection Using Structured Forests

Piotr Dollár, C. Lawrence Zitnick|arXiv (Cornell University)|Jun 20, 2014

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出了一种利用结构化随机森林进行快速、高精度边缘检测的方法，通过利用局部边缘结构（如线条和交汇点）来提升性能。通过将边缘检测建模为在随机决策森林上的结构化学习问题，该方法在NYU Depth数据集上实现了实时推理（7.5 FPS），并在BSDS500和NYU Depth数据集上取得了最先进水平的结果，展现出强大的跨数据集泛化能力。

ABSTRACT

Edge detection is a critical component of many vision systems, including object detectors and image segmentation algorithms. Patches of edges exhibit well-known forms of local structure, such as straight lines or T-junctions. In this paper we take advantage of the structure present in local image patches to learn both an accurate and computationally efficient edge detector. We formulate the problem of predicting local edge masks in a structured learning framework applied to random decision forests. Our novel approach to learning decision trees robustly maps the structured labels to a discrete space on which standard information gain measures may be evaluated. The result is an approach that obtains realtime performance that is orders of magnitude faster than many competing state-of-the-art approaches, while also achieving state-of-the-art edge detection results on the BSDS500 Segmentation dataset and NYU Depth dataset. Finally, we show the potential of our approach as a general purpose edge detector by showing our learned edge models generalize well across datasets.

研究动机与目标

• 开发一种计算效率高的边缘检测方法，通过利用局部边缘结构来保持高精度。
• 解决传统基于梯度的边缘检测器在遗漏纹理和错觉边缘方面的局限性。
• 为视频分割和目标检测等实际计算机视觉应用实现实时边缘检测。
• 展示学习到的边缘模型在无需微调的情况下跨不同数据集的泛化能力。
• 提出一种新颖的结构化学习框架，用于决策森林，以有效建模相互依赖的边缘模式。

提出的方法

• 将边缘检测建模为从图像块中预测结构化局部边缘掩码（如线条、T型接点）的问题，使用随机森林进行预测。
• 提出一种新方法，将结构化边缘标签映射到离散空间，以在树分裂过程中评估标准信息增益。
• 使用多尺度强度和深度梯度作为输入特征，包括来自RGB和深度梯度的11个通道。
• 采用随机森林预测每个图像块的边缘标签，并将这些标签在图像上聚合，形成全局边缘图。
• 通过使用局部颜色和深度线索进行可选锐化，以优化模糊的边缘图。
• 在BSDS500和NYU Depth数据集上进行训练，模型在域内及跨数据集场景下进行测试，以评估泛化性能。

实验结果

研究问题

• RQ1 在随机森林中采用结构化学习是否能通过建模线条和接点等局部边缘模式来提升边缘检测的准确性？
• RQ2 结构化随机森林方法是否能在超越最先进方法的同时实现实时性能？
• RQ3 学习到的边缘模型在具有不同图像统计特性的不同数据集之间泛化能力如何？
• RQ4 在结合强度特征时，深度信息对边缘检测性能的贡献有多大？
• RQ5 统一的端到端学习方法是否能超越传统的基于梯度或手工设计特征的方法？

主要发现

• 所提出的结构化边缘（SE）检测器在BSDS500数据集上取得了最先进性能，ODS F-measure达到0.75，优于gPb及其他领先方法。
• 在NYU Depth数据集上，SE+SH变体的ODS F-measure达到0.65，显著优于gPb-owt-ucm和Silberman等人提出的RGBD分割方法。
• 引入深度特征（SE-RGBD）同时提升了精确率和召回率，在NYU Depth数据集上实现0.65精确率下的0.84召回率。
• 在BSDS上训练的模型在NYU Depth上也表现出良好泛化能力，仅性能下降1分，ODS达到0.64，证明了强大的跨数据集鲁棒性。
• 该方法在NYU Depth图像上运行速度达7.5 FPS，尽管输入分辨率高且需进行多尺度特征计算，仍实现了实时性能。
• SE+NG+模型（结合结构化边缘与深度法向梯度）在NYU Depth上优于所有对比方法，包括Ren和Bo的SCG方法。