[论文解读] Learning to combine depth and motion

Kishore Konda, Roland Memisevic|arXiv (Cornell University)|Dec 12, 2013

Advanced Vision and Imaging被引用 1

一句话总结

该论文提出了一种统一的深度学习模型，通过使用受生物启发的复杂细胞单元联合估计视差和运动，以捕捉多视角和多帧图像数据之间的相关性。通过端到端学习深度和运动特征，该方法在3D动作分析任务中取得了最先进性能，显著优于手工设计的3D运动特征。

ABSTRACT

We present a model for the joint estimation of disparity and motion. The model is based on learning about the interrelations between images from multiple cameras, multiple frames in a video, or the combination of both. We show that learning depth and motion cues, as well as their combinations, from data is possible within a single type of architecture and a single type of learning algorithm, by using biologically inspired complex cell like units, which encode correlations between the pixels across image pairs. Our experimental results show that the learning of depth and motion makes it possible to achieve state-of-the-art performance in 3-D activity analysis, and to outperform existing hand-engineered 3-D motion features by a very large margin.

研究动机与目标

• 开发一种统一框架，从多视角和多帧视频数据中联合估计视差和运动。
• 通过直接从数据中学习具有判别性的深度和运动表征，克服手工设计3D运动特征的局限性。
• 探索单一架构和学习算法是否能有效建模空间与时间维度上图像对之间的相互关系。
• 通过利用深度和运动线索中的学习相关性，提升3D动作分析的性能。

提出的方法

• 该模型采用受生物启发的复杂细胞样单元，编码图像对之间像素的相关性，捕捉空间和时间依赖性。
• 它使用单一神经网络架构和学习算法，联合优化视差和运动估计。
• 该架构处理来自多个摄像机和多个视频帧的数据，实现深度和运动的联合建模。
• 复杂细胞单元整合图像对之间的响应，使网络能够学习到鲁棒的深度和运动相关性表征。

实验结果

研究问题

• RQ1 单一深度学习模型能否有效从多视角和多帧数据中联合学习视差和运动估计？
• RQ2 在3D动作分析中，学习得到的深度和运动特征与手工设计的3D运动特征相比表现如何？
• RQ3 图像对之间的相关性在多大程度上提升了联合深度和运动估计的性能？
• RQ4 统一的架构和学习算法能否有效处理空间（视差）和时间（运动）线索？

主要发现

• 所提出的模型在3D动作分析中实现了最先进性能，展现出优于现有方法的优越泛化能力。
• 从数据中端到端联合学习深度和运动特征，显著优于传统的手工设计3D运动特征。
• 使用类复杂细胞单元有效建模了图像对之间的相互关系，增强了特征表征能力。
• 该模型成功地在单一架构内整合多视角和多帧信息，提升了鲁棒性和准确性。