[论文解读] A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection

Yukun Su, Jingliang Deng+3 more|arXiv (Cornell University)|Mar 9, 2022

Visual Attention and Saliency Detection被引用 5

一句话总结

该论文提出UFO，一种基于Transformer的统一框架，用于群体分割任务——共分割（co-segmentation）、共显著性检测（co-saliency detection）和视频显著目标检测（video salient object detection），采用共享架构。该框架引入一种基于图像块的Transformer模块以捕捉长距离依赖关系，并通过一种内部MLP模块抑制部分激活，从而在11个基准测试中实现最先进精度和实时推理（140 FPS），且无需任务特定设计或光流信息。

ABSTRACT

Humans tend to mine objects by learning from a group of images or several frames of video since we live in a dynamic world. In the computer vision area, many researches focus on co-segmentation (CoS), co-saliency detection (CoSD) and video salient object detection (VSOD) to discover the co-occurrent objects. However, previous approaches design different networks on these similar tasks separately, and they are difficult to apply to each other, which lowers the upper bound of the transferability of deep learning frameworks. Besides, they fail to take full advantage of the cues among inter- and intra-feature within a group of images. In this paper, we introduce a unified framework to tackle these issues, term as UFO (Unified Framework for Co-Object Segmentation). Specifically, we first introduce a transformer block, which views the image feature as a patch token and then captures their long-range dependencies through the self-attention mechanism. This can help the network to excavate the patch structured similarities among the relevant objects. Furthermore, we propose an intra-MLP learning module to produce self-mask to enhance the network to avoid partial activation. Extensive experiments on four CoS benchmarks (PASCAL, iCoseg, Internet and MSRC), three CoSD benchmarks (Cosal2015, CoSOD3k, and CocA) and four VSOD benchmarks (DAVIS16, FBMS, ViSal and SegV2) show that our method outperforms other state-of-the-arts on three different tasks in both accuracy and speed by using the same network architecture , which can reach 140 FPS in real-time.

研究动机与目标

• 解决现有深度学习框架在群体分割任务中缺乏可迁移性和模块化的问题。
• 将共分割（CoS）、共显著性检测（CoSD）和视频显著目标检测（VSOD）统一于单一架构之下。
• 通过自注意力机制改进图像或视频帧之间长距离特征依赖关系的建模。
• 通过引入一种内部MLP学习模块，减少特征图中的部分激活，增强全局感受野。
• 在不依赖光流或任务特定网络设计的前提下，实现实时推理（140 FPS）。

提出的方法

• 基于图像块的视觉Transformer模块将图像特征处理为标记（tokens），通过全局自注意力机制建模图像块之间的长距离依赖关系。
• 内部MLP模块通过将每个查询像素与最相关的K个像素匹配，计算自注意力掩码，从而增强特征激活并抑制部分响应。
• 该框架在所有三项任务中采用共享的编码器-解码器架构，消除了对任务特定网络设计的需求。
• 通过利用Transformer固有的全局建模能力，避免了昂贵的相似性矩阵计算，降低了计算成本。
• 在视频任务中，可选择性地将光流与图像特征融合，以提升对前景目标的感知能力，但并非实现最先进性能所必需。
• 该框架以无监督方式训练，仅依赖图像级别的群体一致性，无需额外的数据增强或监督信号。

Figure 1: The main purpose of our proposed framework . The co-object images can be fed into our network to yield the accurate masks in real-time using the same architecture.

实验结果

研究问题

• RQ1 单一深度学习架构能否通过共享组件有效处理共分割、共显著性检测和视频显著目标检测？
• RQ2 自注意力机制在群体图像分割任务中如何改善长距离特征依赖关系？
• RQ3 内部MLP模块能否减少部分激活并提升目标分割中的特征表示能力？
• RQ4 在不使用光流或任务特定设计的前提下，统一框架在多大程度上可实现实时推理（如140 FPS）？
• RQ5 所提出的框架是否在多样化的基准测试中，同时在准确率和速度上超越任务特定的最先进方法？

主要发现

• 所提出的UFO框架在11个基准测试中均达到最先进性能，涵盖4个CoS、3个CoSD和4个VSOD数据集，且仅使用单一共享架构。
• 在DAVIS 16数据集上，UFO使用VGG16和224×224输入，实现了0.959的平均F-measure和0.013的MAE，优于先前最先进方法。
• 在FBMS和ViSal数据集上，UFO作为无监督方法，实现了最高的F-measure（0.899）和MAE（0.013），展现出强大的泛化能力。
• 该框架在实时推理中达到140 FPS，实现高速性能，且无需使用光流。
• 即使不使用光流，UFO仍优于多个半监督VSOD方法，证明了其鲁棒性与高效性。
• 定性结果表明，该框架在复杂背景和干扰物条件下具有更优的掩码精度，PR曲线和ROC曲线始终优于基线方法。

Figure 2: The pipeline of our proposed method . The given group-based input images $\mathcal{I}$ are first fed into the encoder, yielding the multi-scale feature maps $F$ . Then we employ transformer blocks (see Fig 3 for more details) on the last two layers to capture the images long-range correlat