[论文解读] Making a Case for 3D Convolutions for Object Segmentation in Videos

Sabarinath Mahadevan, Ali Athar+4 more|arXiv (Cornell University)|Aug 26, 2020

Visual Attention and Saliency Detection参考文献 26被引用 4

一句话总结

该论文提出了一种完全基于3D卷积的编码器-解码器网络3DC-Seg，用于视频实例分割，通过利用时空特征学习，其性能优于最先进的2D方法。通过采用轻量级3D ResNet主干网络以及解码器中的新型3D全局卷积和优化模块，该方法在DAVIS’16、FBMS和ViSal基准上实现了更高的精度和更快的推理速度（4.5 fps）。

ABSTRACT

The task of object segmentation in videos is usually accomplished by processing appearance and motion information separately using standard 2D convolutional networks, followed by a learned fusion of the two sources of information. On the other hand, 3D convolutional networks have been successfully applied for video classification tasks, but have not been leveraged as effectively to problems involving dense per-pixel interpretation of videos compared to their 2D convolutional counterparts and lag behind the aforementioned networks in terms of performance. In this work, we show that 3D CNNs can be effectively applied to dense video prediction tasks such as salient object segmentation. We propose a simple yet effective encoder-decoder network architecture consisting entirely of 3D convolutions that can be trained end-to-end using a standard cross-entropy loss. To this end, we leverage an efficient 3D encoder, and propose a 3D decoder architecture, that comprises novel 3D Global Convolution layers and 3D Refinement modules. Our approach outperforms existing state-of-the-arts by a large margin on the DAVIS'16 Unsupervised, FBMS and ViSal dataset benchmarks in addition to being faster, thus showing that our architecture can efficiently learn expressive spatio-temporal features and produce high quality video segmentation masks. We have made our code and trained models publicly available at https://github.com/sabarim/3DC-Seg.

研究动机与目标

• 证明3D卷积可有效应用于密集视频预测任务，如显著性目标分割。
• 解决现有3D CNN在视频分割中的局限性，如计算成本高和显存占用大。
• 表明轻量级3D编码器与小步长设计，结合增强的3D解码器，可超越基于2D的SOTA方法。
• 实现端到端训练的全3D网络，用于像素级视频分割，提升时空特征学习能力。
• 建立一种快速、准确且可泛化的3D CNN架构，作为未来视频理解任务的强基准。

提出的方法

• 使用预训练的、计算高效的3D ResNet（来自视频动作分类）作为轻量级编码器，采用小步长设计以减少显存和计算量。
• 引入新型3D全局卷积层，以在解码器中聚合空间和时间维度的全局上下文信息。
• 采用3D优化模块，逐步优化特征图，提升预测结果的空间与时间一致性。
• 使用标准交叉熵损失函数进行端到端训练，用于二值分割掩码。
• 采用帧重叠策略（T_o = 3），在不依赖完整视频循环的情况下保持时间连贯性。
• 避免使用空洞卷积和深层特征传播，降低显存使用量，同时保持较大的感受野。

实验结果

研究问题

• RQ1 3D卷积网络能否有效应用于密集视频分割任务，如显著性目标分割？
• RQ2 采用轻量级编码器与增强3D解码器的全3D架构，是否能超越现有的基于2D的SOTA方法？
• RQ3 3D网络能否在保持或提升跨数据集泛化能力的同时，实现更高的精度和更快的推理速度？
• RQ4 小步长设计与高效编码器的选择，对3D视频分割中的性能与计算效率有何影响？
• RQ5 3D全局卷积与优化模块在多大程度上能提升视频分割中的时空特征学习能力？

主要发现

• 在DAVIS’16上，3DC-Seg达到91.8%的F-measure和0.015的MAE，相比第二好的方法（AD-Net）在F-measure上高出11.0个百分点。
• 在FBMS上，该方法达到84.5%的F-measure和0.048的MAE，相比之前的SOTA（STem-Seg）在F-measure上高出7.3个百分点。
• 在ViSal上，其F-measure达到92.2%，MAE为0.019，展现出强大的泛化能力，且无需针对数据集进行微调。
• 在NVIDIA GTX-1080Ti上，模型推理速度为0.22秒/帧（即4.5 fps），比次快方法（AD-Net，2.6 fps）快42%。
• 消融实验表明，所提出的3D解码器组件（全局卷积与优化模块）至关重要，若移除，F&F性能下降4.7个百分点。
• 尽管仅在DAVIS上进行微调，3DC-Seg在DAVIS’16上相比先前的3D CNN方法（Hou et al., 2019）在F&F上仍高出5.0个百分点。