[论文解读] Efficient Semantic Video Segmentation with Per-frame Inference

Yifan Liu, Chunhua Shen+2 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Vision and Imaging参考文献 43被引用 9

一句话总结

该论文提出了一种实时语义视频分割方法，通过在训练过程中使用运动引导的时间损失和一种新颖的时间知识蒸馏策略，强制实现时间一致性，使紧凑模型能够通过逐帧推理实现高精度和平滑预测——消除了后处理或多帧操作带来的延迟开销，并在Cityscapes和Camvid基准上优于关键帧方法。

ABSTRACT

For semantic segmentation, most existing real-time deep models trained with each frame independently may produce inconsistent results for a video sequence. Advanced methods take into considerations the correlations in the video sequence, e.g., by propagating the results to the neighboring frames using optical flow, or extracting the frame representations with other frames, which may lead to inaccurate results or unbalanced latency. In this work, we process efficient semantic video segmentation in a per-frame fashion during the inference process. Different from previous per-frame models, we explicitly consider the temporal consistency among frames as extra constraints during the training process and embed the temporal consistency into the segmentation network. Therefore, in the inference process, we can process each frame independently with no latency, and improve the temporal consistency with no extra computational cost and post-processing. We employ compact models for real-time execution. To narrow the performance gap between compact models and large models, new knowledge distillation methods are designed. Our results outperform previous keyframe based methods with a better trade-off between the accuracy and the inference speed on popular benchmarks, including the Cityscapes and Camvid. The temporal consistency is also improved compared with corresponding baselines which are trained with each frame independently. Code is available at: https://tinyurl.com/segment-video

研究动机与目标

• 解决由于独立处理每一帧而导致的实时语义视频分割中的时间不一致性问题。
• 消除后处理或多帧操作带来的推理延迟开销。
• 在不牺牲速度的前提下提升紧凑模型在视频分割中的性能。
• 通过训练阶段的约束和知识蒸馏，同时提升精度和时间平滑性。

提出的方法

• 引入一种运动引导的时间损失，利用预测的光流将分割标签从一帧传播到下一帧以实现监督。
• 通过一个运动估计网络预测连续帧之间的像素级光流，以指导标签传播。
• 提出一种新的时间知识蒸馏方法，利用ConvLSTM建模成对帧之间的相似性，以编码多帧依赖关系。
• 将空间知识蒸馏与时间蒸馏相结合，以同时提升精度和一致性。
• 在训练过程中对紧凑模型（如MobileNetV2、PSPNet18）施加时间约束，但推理时独立处理每一帧。
• 在训练阶段强制实现时间一致性，而推理阶段不增加计算开销。

实验结果

研究问题

• RQ1 能否在不引入推理开销的前提下，有效在训练阶段强制实现时间一致性？
• RQ2 紧凑模型如何在视频分割中实现高精度和平滑预测？
• RQ3 时间知识蒸馏能否在标准蒸馏基础上进一步提升精度和时间平滑性？
• RQ4 使用训练阶段时间约束的逐帧推理是否在速度和一致性上优于关键帧方法？

主要发现

• 与基线模型PSPNet18（mIoU为69.8%，TC为68.5%）相比，该方法在Cityscapes上实现了更高的mIoU（73.1%）和更好的时间一致性（70.6%）。
• 在Camvid数据集上，该方法减少了静态区域（如图8中的红框区域）的闪烁现象，实现了跨帧的稳定预测。
• 增强后的MobileNetV2模型在单张GTX 1080Ti上实现了比SOTA关键帧方法（如Accel和DVSN）更快的推理速度和更高的精度。
• 在Cityscapes上，对于运动物体如“bus”（从47.2%提升至48.5%）和“train”（从55.5%提升至76.4%），时间一致性（TC）显著提高。
• 在Cityscapes上，该方法对“road”的时间一致性得分为97.7%，对“sky”的得分为93.0%，优于基线模型。
• 消融实验表明，结合空间与时间蒸馏可获得最佳性能，其中时间蒸馏对一致性至关重要。