[论文解读] HERS Superpixels: Deep Affinity Learning for Hierarchical Entropy Rate Segmentation

Hankui Peng, Angelica I. Avilés-Rivero+1 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出 DAL-HERS，一种用于超像素分割的两阶段深度学习框架。该框架首先通过深度关联学习（DAL）网络计算多尺度、边界感知的像素关联度，随后应用分层熵率分割（HERS）在常数时间内生成自适应超像素。该方法通过利用分层树结构实现实时生成任意数量的超像素，从而在保持最先进精度的同时实现实时效率。

ABSTRACT

Superpixels serve as a powerful preprocessing tool in numerous computer vision tasks. By using superpixel representation, the number of image primitives can be largely reduced by orders of magnitudes. With the rise of deep learning in recent years, a few works have attempted to feed deeply learned features / graphs into existing classical superpixel techniques. However, none of them are able to produce superpixels in near real-time, which is crucial to the applicability of superpixels in practice. In this work, we propose a two-stage graph-based framework for superpixel segmentation. In the first stage, we introduce an efficient Deep Affinity Learning (DAL) network that learns pairwise pixel affinities by aggregating multi-scale information. In the second stage, we propose a highly efficient superpixel method called Hierarchical Entropy Rate Segmentation (HERS). Using the learned affinities from the first stage, HERS builds a hierarchical tree structure that can produce any number of highly adaptive superpixels instantaneously. We demonstrate, through visual and numerical experiments, the effectiveness and efficiency of our method compared to various state-of-the-art superpixel methods.

研究动机与目标

• 解决现有实时、基于深度学习的超像素方法在保持物体边界和适应图像结构方面的不足。
• 克服基于聚类的方法（如 SLIC）的局限性，例如在均匀区域的过度分割以及在纹理丰富区域的高计算成本。
• 开发一种高效且可微分的基于图的超像素方法，以实现与深度特征的无缝集成。
• 通过分层树结构实现任意数量超像素的即时生成，克服现有方法线性时间成本的限制。
• 证明深度神经网络学习到的关联度可显著提升超像素质量与边界贴合度。

提出的方法

• 提出深度关联学习（DAL）网络，通过聚合深度卷积神经网络的多尺度特征来计算像素级关联度，并引入边界感知监督。
• DAL 网络经过训练，可预测反映局部相似性与边缘存在的关联度，从而提升分割精度。
• HERS 通过递归合并节点，从关联图构建分层树结构，以最大化分割过程的熵率。
• 分层结构允许通过遍历树结构即时提取任意数量的超像素，实现与目标超像素数量无关的常数时间性能。
• HERS 采用基于熵率最大化的贪心合并策略，确保超像素紧密贴合物体边界。
• 该框架将深度特征学习与分割过程解耦，实现高效训练与推理，且无需端到端可微性约束。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习到既具备边界感知能力又适用于基于图的超像素分割的像素级关联度？
• RQ2 如 HERS 这类分层图划分方法能否实现任意数量超像素的实时生成？
• RQ3 结合学习到的关联度与 HERS 是否能生成在边界贴合度与结构准确性方面优于最先进方法的超像素？
• RQ4 所提框架能否在包括室内与室外场景在内的多样化图像数据集上保持高性能？
• RQ5 随着超像素数量的增加，HERS 的计算效率与传统方法及基于深度学习的超像素方法相比如何？

主要发现

• HERS 实现了任意数量超像素的常数时间生成，而无需为每个目标数量重新计算，优于依赖重新计算的方法。
• 在 BSDS500 数据集上，该方法实现了 85.6% 的平均边界召回率（BR）与 89.2% 的平均可实现分割准确率（ASA），优于大多数最先进方法。
• 该方法在边界贴合度方面表现更优，视觉上可确认在草地、天空和墙壁等均匀区域的过度分割现象显著减少。
• 在显著性检测任务中，将 SLIC 替换为 DAL-HERS 可生成更平滑且边缘保留更好的输出，ECSSD 数据集上的视觉对比结果已证实此优势。
• HERS 的累积运行时间在所有超像素数量下均保持极低水平，显著优于其他随超像素数量线性增长的方法。
• 消融实验表明，将 HED 边缘图引入关联度学习可提升性能，其中 Ours (HED) 在与领先方法的对比中表现具有竞争力。