[论文解读] Video Scene Parsing with Predictive Feature Learning

Xiaojie Jin, Xin Li+10 more|arXiv (Cornell University)|Dec 1, 2016

Cancer-related molecular mechanisms research被引用 6

一句话总结

本文提出 PEARL，一种视频场景解析框架，通过预测特征学习从无标注视频数据中提取时空特征，并利用预测引导架构提升解析的一致性和准确性。通过训练网络预测未来帧及其语义图，PEARL 在 Cityscapes 和 Camvid 上实现了最先进性能，即使使用普通的 VGG16 和 Res101 主干网络，mIoU 也显著优于强基线模型。

ABSTRACT

In this work, we address the challenging video scene parsing problem by developing effective representation learning methods given limited parsing annotations. In particular, we contribute two novel methods that constitute a unified parsing framework. (1) extbf{Predictive feature learning}} from nearly unlimited unlabeled video data. Different from existing methods learning features from single frame parsing, we learn spatiotemporal discriminative features by enforcing a parsing network to predict future frames and their parsing maps (if available) given only historical frames. In this way, the network can effectively learn to capture video dynamics and temporal context, which are critical clues for video scene parsing, without requiring extra manual annotations. (2) extbf{Prediction steering parsing}} architecture that effectively adapts the learned spatiotemporal features to scene parsing tasks and provides strong guidance for any off-the-shelf parsing model to achieve better video scene parsing performance. Extensive experiments over two challenging datasets, Cityscapes and Camvid, have demonstrated the effectiveness of our methods by showing significant improvement over well-established baselines.

研究动机与目标

• 解决由于帧间模型缺乏时间上下文而导致的视频场景解析不一致与噪声问题。
• 通过利用大规模无标注视频数据进行自监督表征学习，降低对昂贵像素级标注的依赖。
• 通过将时间一致性与结构感知整合到现有图像解析模型中，提升解析性能。
• 开发统一框架，通过预测监督与架构引导同时增强特征学习与推理能力。

提出的方法

• 预测特征学习通过仅使用历史帧训练网络预测未来帧及其语义解析图，实现对时空动态的自监督学习。
• 预测引导解析架构联合训练一个时间感知网络与标准图像解析网络，利用预测特征指导预测中的时空一致性。
• 轻量级 AdapNet 模块学习预测网络与解析网络之间的潜在变换，对齐特征空间并提升特征迁移效果。
• 该框架采用多任务监督端到端训练：帧预测与语义图预测同时优化。
• 该方法使用标准 CNN 主干网络（VGG16、Res101）且无需架构修改，可无缝集成至现有模型。
• 避免使用 CRF 等后处理操作，采用单尺度推理，实现快速高效的部署。

实验结果

研究问题

• RQ1 自监督预测未来帧及其语义图能否提升视频场景解析中的时空特征学习？
• RQ2 预测引导架构能否在不修改基础网络的前提下，提升视频解析的时间一致性与局部细节保留能力？
• RQ3 在 VSP 中，预测特征学习与基于光流的方法在建模时间上下文方面有何对比？
• RQ4 像 PEARL 这样极简架构的方法在多大程度上能超越经过深度修改的最先进模型？

主要发现

• 在 Cityscapes 验证集上，PEARL 相较于 VGG16 基线模型 mIoU 提升 6.4，相较于 Res101 基线模型 mIoU 提升 2.4。
• 在 Cityscapes 测试集上，使用 Res101 的 PEARL 在已发表方法中表现最佳，显著超越先前最先进模型。
• 在 Camvid 上，PEARL 相较于 Res101 基线模型，PA 提升 1.6%，CA 提升 2.5%，优于采用 CRF 后处理的光流方法。
• 消融实验表明，AdapNet 分别使 VGG16 和 Res101 的 mIoU 提升 1.1 和 0.3，证明其在特征对齐中的价值。
• PEARL 在两个数据集上均显著优于光流增强基线模型（feat_OF + IPNet），证明其在时间上下文建模方面的优越性。
• 即使使用普通的 VGG16 主干网络，PEARL 仍能达到最先进性能，表明其具备强大的泛化能力与向更强大架构扩展的潜力。