[论文解读] Improved Image Boundaries for Better Video Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|May 12, 2016

Visual Attention and Saliency Detection参考文献 30被引用 9

一句话总结

本文通过融合图像和时间线索来增强图像边界检测，从而改进基于图的视频分割，生成更高质量的超像素，提升分割准确率并降低计算成本。该方法通过改进基于目标提议和光流的边界估计，在VSB100和BMDS数据集上实现了最先进性能，运行时间减少45%，同时提升边界召回率。

ABSTRACT

Graph-based video segmentation methods rely on superpixels as starting point. While most previous work has focused on the construction of the graph edges and weights as well as solving the graph partitioning problem, this paper focuses on better superpixels for video segmentation. We demonstrate by a comparative analysis that superpixels extracted from boundaries perform best, and show that boundary estimation can be significantly improved via image and time domain cues. With superpixels generated from our better boundaries we observe consistent improvement for two video segmentation methods in two different datasets.

研究动机与目标

• 研究初始超像素质量对基于图的视频分割性能的影响。
• 通过图像级线索和光流提供的时序一致性，改进视频帧中的边界估计。
• 证明基于边界的超像素在视频分割任务中优于经典超像素方法。
• 通过更优的超像素生成减少图节点数量，降低视频分割中的计算成本。
• 实现改进后超像素在不同视频分割框架和数据集上的泛化能力。

提出的方法

• 融合图像级线索（如目标提议、全局特征）与逐帧边界图，以优化初始边界估计。
• 结合光流和时序平滑技术，提升视频帧间边界的时序一致性。
• 采用分层图像分割方法，从改进的边界图中提取超像素，优先生成边界精确且时序一致的超像素。
• 将改进的超像素直接作为现有基于图的视频分割方法的输入，无需重新训练。
• 应用谱聚类和图划分技术，结合优化的节点表示，以提升分割效果。
• 通过在训练数据上进行网格搜索，验证边界图的分层级别，以最大化分割性能。

实验结果

研究问题

• RQ1 初始超像素的质量是否显著影响基于图的视频分割性能？
• RQ2 通过结合图像级线索（如目标提议）与时间信息（如光流），能否改善边界估计？
• RQ3 从增强边界中提取的超像素是否能带来更高的分割准确率和时序一致性？
• RQ4 所提方法是否能在保持或提升性能的同时，降低视频分割的计算负载？
• RQ5 改进的超像素在不同视频数据集和分割框架中是否具有良好的泛化能力？

主要发现

• 在VSB100和BMDS两个数据集上，该方法在BPR指标上提升4–12%，在VPR指标上提升1–2%。
• 使用所提超像素后，每帧平均超像素数量从310个减少至120个，运行时间与内存使用量降低45%。
• 该方法在VSB100和BMDS数据集上均达到最先进性能，优于使用标准超像素的基线方法。
• 在基线方法性能下降的复杂场景中，该方法的性能提升最为显著，表明其对复杂场景具有鲁棒性。
• 最优情况（oracle case）显示，所采用的固定分层级别接近每视频最优选择，验证了方法的鲁棒性。
• 该方法可直接应用于其他基于图的视频分割方法（如文献[24]提出的基于分类器的图构建方法），在计算成本更低的前提下实现相当的性能。