[论文解读] Deep End2End Voxel2Voxel Prediction

Du Tran, Lubomir Bourdev+3 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Vision and Imaging参考文献 24被引用 10

一句话总结

本文提出 V2V，一种端到端训练的全卷积3D卷积网络，用于视频中的体素到体素预测，在三个不同任务——光流估计、语义分割和视频着色——上实现了具有竞争力的性能，无需任何预处理或后处理，仅使用原始视频输入并采用单一共享架构。

ABSTRACT

Over the last few years deep learning methods have emerged as one of the most prominent approaches for video analysis. However, so far their most successful applications have been in the area of video classification and detection, i.e., problems involving the prediction of a single class label or a handful of output variables per video. Furthermore, while deep networks are commonly recognized as the best models to use in these domains, there is a widespread perception that in order to yield successful results they often require time-consuming architecture search, manual tweaking of parameters and computationally intensive pre-processing or post-processing methods. In this paper we challenge these views by presenting a deep 3D convolutional architecture trained end to end to perform voxel-level prediction, i.e., to output a variable at every voxel of the video. Most importantly, we show that the same exact architecture can be used to achieve competitive results on three widely different voxel-prediction tasks: video semantic segmentation, optical flow estimation, and video coloring. The three networks learned on these problems are trained from raw video without any form of preprocessing and their outputs do not require post-processing to achieve outstanding performance. Thus, they offer an efficient alternative to traditional and much more computationally expensive methods in these video domains.

研究动机与目标

• 展示单一统一的3D卷积网络架构可通过端到端训练实现多种体素级视频预测任务。
• 挑战深度学习模型需要大量架构专业化、超参数调优或预/后处理才能实现高性能的固有观念。
• 表明在原始视频数据上进行端到端训练可生成高效且准确的模型，适用于实时应用。
• 探究来自不同领域（如动作识别）的预训练模型是否能提升下游体素预测任务的性能。
• 评估是否可通过端到端训练将复杂的手工设计算法（如光流方法）蒸馏为轻量级深度学习模型。

提出的方法

• 采用带有可学习上采样层的全卷积3D卷积网络，以保持空间分辨率并实现密集的体素级输出。
• 在三个不同的视频预测任务（光流、语义分割和视频着色）上端到端训练同一网络架构。
• 使用原始视频帧作为输入，无需任何预处理；对于视频着色任务，将彩色视频转换为灰度图作为输入，并预测RGB输出。
• 对视频着色使用L2回归损失，对分割任务使用交叉熵损失；采用随机梯度下降并配合学习率衰减。
• 在UCF101上从头开始训练所有任务，大多数情况下避免迁移学习，以强调架构的泛化能力。
• 在所有任务中使用单一网络架构，以证明其可迁移性及最小化的架构工程需求。

实验结果

研究问题

• RQ1 单一固定3D卷积网络架构是否能在多个不同的体素级视频预测任务上实现具有竞争力的性能？
• RQ2 在原始视频输入上进行端到端训练是否可消除对计算成本高昂的预处理或后处理步骤的需求？
• RQ3 通过模仿复杂手工设计算法（如光流）输出而训练的深度学习模型，是否能在准确性和效率上超越原始方法？
• RQ4 从预训练模型（如动作识别）进行微调是否能提升下游体素预测任务的性能，还是从头训练反而更有效？
• RQ5 在视频着色任务中，模型在有限监督下能在多大程度上学习到‘常识性’视觉先验（如天空的蓝色、草的绿色、肤色）？

主要发现

• 相同的3D卷积网络架构在三个不同的体素预测任务（光流估计、语义分割和视频着色）上均实现了最先进或具有竞争力的性能。
• V2V模型在视频着色任务上的平均距离误差（ADE）为0.1375，优于2D基线模型（ADE 0.1495），表明颜色预测精度有所提升。
• 在光流任务中，V2V模型通过模仿手工设计方法的输出进行训练，其精度略高于教师方法，同时推理速度快70倍。
• 当下游任务（如光流）所需的视觉特征与预训练模型（如动作识别）差异显著时，从头训练的性能优于微调。
• 即使在监督信号有限的情况下，模型仍能学习到有意义且语义相关的特征，如常识性颜色（天空蓝色、草绿色、肤色）。
• 由于无需预处理和后处理步骤，且结合高效的卷积操作，该模型实现了实时推理，适用于大规模视频应用。