[论文解读] Disentangling Motion, Foreground and Background Features in Videos

Xunyu Lin, Víctor Campos+3 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Vision and Imaging参考文献 13被引用 3

一句话总结

本文提出了一种无监督深度学习框架，利用3D卷积自编码器架构，从视频中解耦运动、前景和背景特征。通过使用运动感知解耦的帧重建进行训练，该模型学习到语义上有意义的特征，显著提升了动作识别的准确率——在UCF-101测试集上达到62.5%，较随机初始化和自编码器预训练高出10%以上。

ABSTRACT

This paper introduces an unsupervised framework to extract semantically rich features for video representation. Inspired by how the human visual system groups objects based on motion cues, we propose a deep convolutional neural network that disentangles motion, foreground and background information. The proposed architecture consists of a 3D convolutional feature encoder for blocks of 16 frames, which is trained for reconstruction tasks over the first and last frames of the sequence. A preliminary supervised experiment was conducted to verify the feasibility of proposed method by training the model with a fraction of videos from the UCF-101 dataset taking as ground truth the bounding boxes around the activity regions. Qualitative results indicate that the network can successfully segment foreground and background in videos as well as update the foreground appearance based on disentangled motion features. The benefits of these learned features are shown in a discriminative classification task, where initializing the network with the proposed pretraining method outperforms both random initialization and autoencoder pretraining. Our model and source code are publicly available at https://imatge-upc.github.io/unsupervised-2017-cvprw/ .

研究动机与目标

• 开发一种无监督视频表征学习框架，通过运动线索模拟人类感知分组。
• 在不依赖昂贵人工标注的情况下，解耦视频片段中的运动、前景和背景特征。
• 通过使用解耦特征进行预训练，提升判别性动作识别性能。
• 证明基于运动的解耦比随机初始化或自编码器预训练具有更好的泛化能力。

提出的方法

• 一个3D卷积神经网络编码器处理16帧的视频片段，并将其映射到共享的瓶颈特征空间。
• 瓶颈特征被分割为三个独立分支：一个用于运动，一个用于前景外观，一个用于背景外观。
• 每个分支通过重建损失，从片段的第一帧和最后一帧重建其对应的分量（运动、前景、背景）。
• 该架构采用多流解码器设置，分别使用独立的解码器进行运动、前景和背景的重建。
• 训练期间使用真实分割掩码，但该方法设计为最终可通过uNLC等方法支持无监督前景分割。
• 通过在解耦特征之上替换为线性Softmax层，对模型进行微调以用于动作识别。

实验结果

研究问题

• RQ1 仅依靠运动线索是否能够实现视频中前景和背景的无监督解耦？
• RQ2 解耦运动、前景和背景是否比标准自编码在视频表征学习方面表现更优？
• RQ3 所提出的预训练方法是否能在标注数据有限的情况下提升动作识别性能？
• RQ4 该模型在下游任务中与随机初始化和自编码器预训练相比表现如何？
• RQ5 该模型是否能在无人工标注分割的情况下泛化到真实世界的视频理解任务？

主要发现

• 在使用解耦特征进行预训练后，微调模型在UCF-101测试集上达到62.5%的准确率，优于随机初始化（52.2%）和自编码器预训练（56.8%）。
• 预训练模型在仅一个训练周期后即达到90%的训练准确率，而随机初始化模型则需要130个周期才能达到相同性能。
• 定性结果表明，网络成功将运动物体分割为前景，并重建了捕捉全局运动和局部姿态变化的运动特征。
• 解耦的运动特征能够准确重建帧间物体位移和手势变化，表明对时序动态的有效建模。
• 由于基于运动的解耦具有归纳偏置，该方法在数据稀缺条件下表现出强大的泛化能力。
• 该框架已公开发布，代码和模型可在 https://imatge-upc.github.io/unsupervised-2017-cvprw/ 获取。