[论文解读] Fast video object segmentation with Spatio-Temporal GANs

Sergi Caelles, Albert Pumarola+3 more|arXiv (Cornell University)|Mar 28, 2019

Visual Attention and Saliency Detection参考文献 54被引用 7

一句话总结

FaSTGAN 提出了一种基于新型时空生成对抗网络（Spatio-Temporal GAN）架构的实时半监督视频对象分割方法，该方法在训练过程中于有限的时间窗口内学习时空对象模型。通过使用两个判别器分别强制实现空间和时间一致性，该方法在无需微调或后处理的情况下实现了 32 fps 的推理速度，在 DAVIS 和 YouTube-VOS 基准测试中达到了最先进水平的准确率。

ABSTRACT

Learning descriptive spatio-temporal object models from data is paramount for the task of semi-supervised video object segmentation. Most existing approaches mainly rely on models that estimate the segmentation mask based on a reference mask at the first frame (aided sometimes by optical flow or the previous mask). These models, however, are prone to fail under rapid appearance changes or occlusions due to their limitations in modelling the temporal component. On the other hand, very recently, other approaches learned long-term features using a convolutional LSTM to leverage the information from all previous video frames. Even though these models achieve better temporal representations, they still have to be fine-tuned for every new video sequence. In this paper, we present an intermediate solution and devise a novel GAN architecture, FaSTGAN, to learn spatio-temporal object models over finite temporal windows. To achieve this, we concentrate all the heavy computational load to the training phase with two critics that enforce spatial and temporal mask consistency over the last K frames. Then at test time, we only use a relatively light regressor, which reduces the inference time considerably. As a result, our approach combines a high resiliency to sudden geometric and photometric object changes with efficiency at test time (no need for fine-tuning nor post-processing). We demonstrate that the accuracy of our method is on par with state-of-the-art techniques on the challenging YouTube-VOS and DAVIS datasets, while running at 32 fps, about 4x faster than the closest competitor.

研究动机与目标

• 为解决现有视频对象分割模型在快速外观变化或遮挡情况下因时间建模不足而失效的问题。
• 开发一种在保持高准确率的同时实现实时推理速度的方法，从而无需微调或后处理。
• 利用轻量级推理网络，在有限的时间窗口内学习鲁棒的时空对象表征。
• 通过双判别器在训练中联合实现空间与时间一致性，从而在测试时实现高效且准确的掩码传播。

提出的方法

• 该方法采用受 Wug 等人 [60] 启发的孪生编码器-解码器回归器架构，以参考掩码和当前帧作为输入。
• 在训练过程中，引入两个判别器（空间判别器和时间判别器），以确保在最后 K 帧内保持一致性，从而实现平滑且准确的掩码预测。
• 空间判别器确保帧间边界预测的一致性，而时间判别器则维持掩码随时间演变的一致性。
• 在推理阶段，仅使用轻量级回归器，丢弃判别器以实现无需微调的快速推理。
• 该模型仅在视频数据上进行端到端训练，无需光流或额外监督。
• 该方法利用有限的时间窗口（K 帧）在长期时间建模与计算效率之间实现平衡。

实验结果

研究问题

• RQ1 基于 GAN 的架构能否在无需微调的情况下，学习到可泛化至未见视频序列的鲁棒时空对象模型？
• RQ2 如何在训练过程中有效强制实现空间与时间一致性，以提升在遮挡和外观变化情况下的分割准确率？
• RQ3 通过双判别器训练的轻量级回归器能否在保持最先进准确率的同时实现实时推理速度？
• RQ4 在视频对象分割中结合时空一致性时，推理速度与准确率之间的权衡关系如何？

主要发现

• FaSTGAN 在 512×512 视频帧上实现了 32 fps 的推理速度，约为最接近竞争对手（7.7 fps）的 4 倍。
• 该方法在 DAVIS17 和 YouTube-VOS 数据集上均达到了最先进水平的准确率，性能与此前为速度优化的 SOTA 方法相当或更优。
• 与 RGMP 相比，FaSTGAN 在 DAVIS17 和 YouTube-VOS 上的 J&F 分别高出 4 和 5.7 分，且速度显著更快。
• 尽管在 DAVIS17 上准确率略有下降，FaSTGAN 的运行速度仍比 RGMP 快 5 倍以上，比 PReMVOS 快 500 倍以上。
• 定性结果表明，该方法对遮挡、外观变化和动态背景具有鲁棒性，尤其在 YouTube-VOS 和 DAVIS 序列中表现突出。
• 消融实验表明，同时结合空间与时间一致性（LS + LT）可获得最佳性能，显著降低边界误差和遮挡后的恢复失败率。