[论文解读] Learning image representations equivariant to ego-motion.

Dinesh Jayaraman, Kristen Grauman|arXiv (Cornell University)|May 8, 2015

Advanced Vision and Imaging参考文献 26被引用 19

一句话总结

本文提出了一种无监督学习方法，利用本体感觉的自我运动信号，训练卷积神经网络学习对自我运动保持等变性的视觉表征。通过强制系统性特征响应于自我运动变换，该方法在视觉识别和下一个最佳视角预测任务上显著提升性能，在自动驾驶视频的大规模场景识别任务上达到当前最先进水平。

ABSTRACT

Understanding how images of objects and scenes behave in response to specific ego-motions is a crucial aspect of proper visual development, yet existing visual learning methods are conspicuously disconnected from the physical source of their images. We propose to exploit proprioceptive motor signals to provide unsupervised regularization in convolutional neural networks to learn visual representations from egocentric video. Specifically, we enforce that our learned features exhibit equivariance i.e. they respond systematically to transformations associated with distinct ego-motions. With three datasets, we show that our unsupervised feature learning system significantly outperforms previous approaches on visual recognition and next-best-view prediction tasks. In the most challenging test, we show that features learned from video captured on an autonomous driving platform improve large-scale scene recognition in a disjoint domain.

研究动机与目标

• 为解决视觉学习与图像物理起源之间的脱节问题，通过将自我运动信号融入表征学习。
• 开发一种无监督方法，利用第一人称视频中的本体感觉运动信号来正则化视觉特征。
• 学习对自我运动变换具有系统性响应的视觉表征，确保等变性。
• 在不依赖监督信号的情况下，提升视觉识别和下一个最佳视角预测的性能。
• 证明所学特征在不同领域（如自动驾驶视频中的大规模场景识别）中的可迁移性。

提出的方法

• 该方法使用自我运动信号（如来自IMU的相机运动或光流）作为监督信号，对卷积神经网络中的特征学习进行正则化。
• 通过确保特征图在特定自我运动变换（如平移或旋转）下产生可预测的变换，来强制实现等变性。
• 网络通过对比损失端到端训练，该损失鼓励在已知自我运动下，时间相邻帧之间保持一致的特征响应。
• 网络架构为标准的卷积神经网络，跨帧共享权重，以在运动下保持等变性。
• 该方法以无监督方式运行，仅依赖视频和自我运动数据，无需人工标注的标签。
• 该方法在三个数据集上进行评估，包括一个自动驾驶平台，以测试泛化能力和性能表现。

实验结果

研究问题

• RQ1 能否利用自我运动信号学习到对无关场景变化保持不变但对自我运动保持等变性的视觉表征？
• RQ2 在第一人称视频中，整合本体感觉运动信号在多大程度上能提升无监督视觉表征学习？
• RQ3 从第一人称视频中学到的特征在多大程度上能泛化到不同领域的下游任务？
• RQ4 对自我运动的等变性是否能带来更好的视觉识别和下一个最佳视角预测任务性能？
• RQ5 在大规模场景识别任务上，利用自我运动信号的无监督学习能否超越先前的自监督或有监督基线方法？

主要发现

• 所提出的方法在三个数据集上的视觉识别和下一个最佳视角预测任务中，显著优于以往的无监督方法。
• 在最具挑战性的基准上，从自动驾驶视频中学到的特征显著提升了在不同领域中的大规模场景识别性能。
• 所学表征对自我运动表现出强烈的等变性，特征在已知相机运动下可预测地变换。
• 该系统在不使用任何人工标注标签的情况下实现了最先进性能，仅依赖自我运动信号和视频数据。
• 该方法在不同领域间具有良好的泛化能力，证明了从第一人称视频中学到的特征可有效迁移到大规模场景理解任务中。
• 利用本体感觉信号作为无监督监督，可生成更鲁棒且具有物理基础的视觉表征。