[论文解读] Unsupervised Learning from Continuous Video in a Scalable Predictive Recurrent Network

Filip Piȩkniewski, Patryk A. Laurent+4 more|arXiv (Cornell University)|Jul 22, 2016

Video Surveillance and Tracking Methods参考文献 84被引用 14

一句话总结

本文提出了一种可扩展的、预测性的循环神经网络架构——预测视觉模型（PVM），该模型以无监督方式从原始连续视频中学习视觉世界动态。通过结合时间预测、通过具有局部连接的多层感知机实现的降维压缩与上下文建模，PVM 实现了鲁棒的视觉跟踪，其性能与当前最先进方法相当或更优，即使仅使用极少监督进行微调，也展现出有效的无监督世界建模能力。

ABSTRACT

Understanding visual reality involves acquiring common-sense knowledge about countless regularities in the visual world, e.g., how illumination alters the appearance of objects in a scene, and how motion changes their apparent spatial relationship. These regularities are hard to label for training supervised machine learning algorithms; consequently, algorithms need to learn these regularities from the real world in an unsupervised way. We present a novel network meta-architecture that can learn world dynamics from raw, continuous video. The components of this network can be implemented using any algorithm that possesses three key capabilities: prediction of a signal over time, reduction of signal dimensionality (compression), and the ability to use supplementary contextual information to inform the prediction. The presented architecture is highly-parallelized and scalable, and is implemented using localized connectivity, processing, and learning. We demonstrate an implementation of this architecture where the components are built from multi-layer perceptrons. We apply the implementation to create a system capable of stable and robust visual tracking of objects as seen by a moving camera. Results show performance on par with or exceeding state-of-the-art tracking algorithms. The tracker can be trained in either fully supervised or unsupervised-then-briefly-supervised regimes. Success of the briefly-supervised regime suggests that the unsupervised portion of the model extracts useful information about visual reality. The results suggest a new class of AI algorithms that uniquely combine prediction and scalability in a way that makes them suitable for learning from and --- and eventually acting within --- the real world.

研究动机与目标

• 为解决 Moravec 的悖论，开发一种视觉系统，使其能像一岁幼儿一样学习常识性的视觉动态，而非依赖于成人水平的分类能力。
• 克服 ImageNet 等监督基准的局限性，这些基准强调标注类别，却忽略了动态的、现实世界的视觉规律。
• 设计一种可扩展、可并行化的架构，能够在无需人工标注标签的情况下从连续视频中进行学习。
• 实现在动态现实环境（如机器人和自主系统）中实用的、实时的视觉感知。
• 探索无监督预训练是否能提取出对下游任务（如视觉跟踪）有益的世界知识。

提出的方法

• 预测视觉模型（PVM）采用由三个核心组件构成的元架构：时间预测、降维压缩（自编码）以及利用辅助输入的上下文感知预测。
• 每个组件均通过多层感知机（MLP）实现，支持模块化、可扩展且可并行训练，具备局部连接与学习能力。
• 网络采用反馈连接与侧向连接——受预测编码与大脑功能的启发——使其能够建模复杂的视觉动态与时间依赖性。
• 系统在原始视频序列上进行端到端训练，无监督地学习未来帧与潜在表征的预测。
• 在无监督模型基础上引入简短的监督微调阶段，以适应视觉跟踪任务，测试所学世界模型是否能提升性能。
• 该架构设计支持神经形态与生物可解释实现，为未来硬件扩展提供支持。

实验结果

研究问题

• RQ1 纯粹无监督学习系统能否从连续视频中提取出支持鲁棒视觉跟踪的有用世界动态？
• RQ2 在无标签原始视频上进行预训练，是否相比仅使用监督训练能提升下游视觉跟踪任务的性能？
• RQ3 可扩展的、循环的、预测性架构在多大程度上能够建模现实世界的视觉规律，如光照变化、运动与遮挡？
• RQ4 在无监督训练环境下学习的系统，能否泛化至实际机器人任务（如动态环境中目标跟踪）？
• RQ5 在预测架构中整合反馈与侧向连接，相比标准前馈模型，如何提升学习效果？

主要发现

• PVM 在视觉跟踪性能上达到或超过当前最先进监督跟踪算法的水平，即使主要在无监督设置下训练亦然。
• 简短的监督微调阶段显著提升了性能，表明无监督预训练捕捉到了有意义的世界动态。
• 该模型在运动模糊、部分遮挡和光照变化等复杂视觉条件下，仍表现出稳定且鲁棒的视觉跟踪能力。
• 架构的可扩展性与并行化能力，使其能够高效训练连续视频流，支持实时部署。
• 无监督训练的成功表明，视觉序列的预测建模可作为人工智能中常识性世界理解的基础。
• PVM 实现的源代码已公开发布，以支持可复现性与进一步研究。