[论文解读] EgoTransfer: Transferring Motion Across Egocentric and Exocentric Domains using Deep Neural Networks

Shervin Ardeshir, Krishna Regmi+1 more|arXiv (Cornell University)|Dec 17, 2016

Human Pose and Action Recognition参考文献 19被引用 6

一句话总结

本文提出EgoTransfer，一种深度学习框架，通过线性与非线性模型在第一人称（第一视角）与第三人称（第三视角）视频视角之间学习运动特征的迁移。结果表明，运动信息可在不同视角间有效迁移，其中非线性映射在顶视图迁移中表现优于线性模型，而双流网络在侧视图迁移中表现尤为出色，尤其是在使用C3D特征时。

ABSTRACT

Mirror neurons have been observed in the primary motor cortex of primate species, in particular in humans and monkeys. A mirror neuron fires when a person performs a certain action, and also when he observes the same action being performed by another person. A crucial step towards building fully autonomous intelligent systems with human-like learning abilities is the capability in modeling the mirror neuron. On one hand, the abundance of egocentric cameras in the past few years has offered the opportunity to study a lot of vision problems from the first-person perspective. A great deal of interesting research has been done during the past few years, trying to explore various computer vision tasks from the perspective of the self. On the other hand, videos recorded by traditional static cameras, capture humans performing different actions from an exocentric third-person perspective. In this work, we take the first step towards relating motion information across these two perspectives. We train models that predict motion in an egocentric view, by observing it from an exocentric view, and vice versa. This allows models to predict how an egocentric motion would look like from outside. To do so, we train linear and nonlinear models and evaluate their performance in terms of retrieving the egocentric (exocentric) motion features, while having access to an exocentric (egocentric) motion feature. Our experimental results demonstrate that motion information can be successfully transferred across the two views.

研究动机与目标

• 通过学习第一人称与第三人称运动表征之间的映射，模拟镜像神经元行为。
• 通过利用丰富的第三人称数据集，缓解数据可用性不平衡问题，以提升第一人称视频理解能力。
• 使智能系统能够基于第三人称视角观察，推断动作在第一人称视角下的呈现方式。
• 评估线性与非线性模型在不同摄像机视角间迁移运动特征的有效性。
• 探究特征类型（HOOF与C3D）及视角几何结构（顶视图与侧视图）对迁移性能的影响。

提出的方法

• 使用佩戴式相机与固定相机同步采集第一人称与第三人称视频对。
• 从两种视角的16帧剪辑中，分别使用C3D与HOOF网络提取运动特征。
• 训练线性与非线性映射模型，以学习第一人称与第三人称特征空间之间的变换关系。
• 采用l2正则化的线性回归与非线性多层感知机（MLPs）进行特征变换。
• 采用双流分类网络学习联合表征，以提升跨视角检索性能。
• 通过检索排序评估模型：给定一个视角的特征，检索其在另一视角中的正确匹配。

实验结果

研究问题

• RQ1 能否有效实现从第三人称（第三视角）到第一人称（第一视角）视角的运动特征迁移，反之亦然？
• RQ2 非线性深度神经网络是否在第一人称与第三人称领域间迁移运动特征方面优于线性模型？
• RQ3 摄像机视角选择（顶视图与侧视图）如何影响运动特征迁移的性能？
• RQ4 运动特征类型（C3D与HOOF）是否影响跨视角迁移的成功率？
• RQ5 与标准线性与非线性模型相比，双流网络架构是否能提升检索准确率？

主要发现

• 采用重建目标的非线性映射在第一人称到顶视图迁移中表现最佳，显著优于线性模型。
• 在第一人称到侧视图迁移中，双流分类网络实现了最佳检索准确率（83.76%），显著优于所有其他方法。
• 在顶视图迁移中，非线性模型在顶视图到第一人称映射中达到83.92%的top-1准确率，而线性模型为73.11%。
• l2正则化线性回归在所有设置中均持续优于随机与均匀基线。
• C3D特征在与线性模型结合时表现更优，表明其已针对线性变换进行了良好优化。
• 双流网络在侧视图迁移中显著优于线性与非线性模型，表明其适用于视觉相似度高的复杂视角。