[论文解读] Flow-based Video Segmentation for Human Head and Shoulders

Zijian Kuang, Xinran Tie|arXiv (Cornell University)|Apr 20, 2021

Advanced Image Processing Techniques参考文献 10被引用 6

一句话总结

本文提出 FUNet，一种基于流的编码器-解码器网络，结合霍恩-舒克光流与卷积神经网络，实现实时、鲁棒的人体头部和肩部视频分割，适用于运动模糊场景。该模型在自建数据集上取得 0.96 的平均 Dice 系数，优于传统方法在动态会议场景中的表现。

ABSTRACT

Video segmentation for the human head and shoulders is essential in creating elegant media for videoconferencing and virtual reality applications. The main challenge is to process high-quality background subtraction in a real-time manner and address the segmentation issues under motion blurs, e.g., shaking the head or waving hands during conference video. To overcome the motion blur problem in video segmentation, we propose a novel flow-based encoder-decoder network (FUNet) that combines both traditional Horn-Schunck optical-flow estimation technique and convolutional neural networks to perform robust real-time video segmentation. We also introduce a video and image segmentation dataset: ConferenceVideoSegmentationDataset. Code and pre-trained models are available on our GitHub repository: \url{https://github.com/kuangzijian/Flow-Based-Video-Matting}.

研究动机与目标

• 解决在运动模糊（如头部晃动或挥手）条件下视频会议中精确背景减除的挑战。
• 克服传统背景减除方法（如 GMG、KNN）在前景物体静止或运动时失效的局限性。
• 开发一种实时、端到端的视频分割模型，无需干净的背景图像或大量人工标注。
• 构建一个新的基准数据集 ConferenceVideoSegmentationDataset，以支持人体头部和肩部视频分割的研究。
• 通过将光流特征与基于深度学习的外观特征结合，提升视频分割的鲁棒性与效率。

提出的方法

• 采用霍恩-舒克光流方法提取连续视频帧之间的运动特征。
• 使用 U-Net 风格的编码器-解码器架构，将运动特征与原始帧的外观特征相结合。
• 使用卷积神经网络实时预测人体头部和肩部的前景掩码。
• 采用 BCE With Logits Loss 配合 RMSProp 优化器（初始初始值 0.0001，权重衰减 1e-8，动量 0.9）以保证训练稳定性。
• 在解码路径中通过拼接方式融合光流与外观特征，以优化掩码预测。
• 训练过程中应用下采样因子以提升计算效率，未来可进行调整。

实验结果

研究问题

• RQ1 结合经典光流与深度学习的混合模型是否能提升在运动模糊条件下的视频分割鲁棒性？
• RQ2 运动特征与外观特征的融合在动态视频会议场景中如何提升分割精度？
• RQ3 会议风格视频的自建数据集在多大程度上能提升视频分割模型的泛化能力？
• RQ4 所提方法是否能在无需高分辨率背景图像或人工标注的情况下实现实时推理？
• RQ5 该模型在具有新背景和新前景主体的未见视频序列上的表现如何？

主要发现

• 所提出的 FUNet 模型在测试集上达到 0.96 的平均 Dice 系数，表明预测掩码与真实掩码高度相似。
• 该模型在包含运动模糊的视频序列（如头部运动和挥手）中表现出鲁棒性能，而此类情况在现有系统（如 Zoom 的背景替换）中常导致失败。
• 将霍恩-舒克光流与深度学习结合，可在无需额外监督或干净背景输入的情况下实现准确的运动感知分割。
• 包含 10 段绿幕会议视频共 3600 帧的自建 ConferenceVideoSegmentationDataset，有效支持了模型的训练与评估。
• 模型采用 BCE With Logits Loss 和 RMSProp 优化器进行端到端训练，在单张 RTX 2080 Ti GPU 上实现实时推理。
• 未来工作包括通过真实会议录制扩展数据集，并利用 softmax 拼贴法提升帧插值的推理速度。