[论文解读] Object Localization and Motion Transfer learning with Capsules.

Weitang Liu, Emad Barsoum+1 more|arXiv (Cornell University)|May 20, 2018

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种基于CapsNet的架构，引入了物体坐标原子和LSTM网络，以实现物体定位与运动预测的解耦。通过引入一种用于位置估计的新路由算法，以及一种用于运动迁移的参数化仿射变换网络，该方法仅需微调CapsNet即可将运动预测能力迁移到新数据集，展示了无需重训练运动头即可实现运动建模的跨数据集迁移能力。

ABSTRACT

Inspired by CapsNet's routing-by-agreement mechanism, with its ability to learn object properties, and by center-of-mass calculations from physics, we propose a CapsNet architecture with object coordinate atoms and an LSTM network for evaluation. The first is based on CapsNet but uses a new routing algorithm to find the objects' approximate positions in the image coordinate system, and the second is a parameterized affine transformation network that can predict future positions from past positions by learning the translation transformation from 2D object coordinates generated from the first network. We demonstrate the learned translation transformation is transferable to another dataset without the need to train the transformation network again. Only the CapsNet needs training on the new dataset. As a result, our work shows that object recognition and motion prediction can be separated, and that motion prediction can be transferred to another dataset with different object types.

研究动机与目标

• 在视觉理解任务中，有效解耦物体定位与运动预测。
• 在不重训练运动模型的前提下，实现将运动预测能力迁移到新数据集。
• 利用受物理启发的质心计算与基于一致性的路由机制，提升物体位置估计的准确性。
• 设计一种参数化的仿射变换网络，从2D物体坐标中学习平移动力学。

提出的方法

• 在CapsNet中引入物体坐标原子，利用改进的基于一致性的路由机制，在图像坐标系中估计物体位置。
• 采用一种新颖的路由算法，通过基于空间一致性的动态路由聚合，提升位置估计的准确性。
• 使用独立的LSTM网络，从预测的2D物体坐标中建模时间动态。
• 应用参数化的仿射变换网络，从历史位置预测未来位置，学习平移变换。
• 在新数据集上微调CapsNet，同时冻结预训练的运动预测网络，实现零样本迁移的运动建模。
• 将坐标原子CapsNet的输出与运动网络结合，实现联合的定位与运动预测。

实验结果

研究问题

• RQ1 在深度学习框架中，能否有效解耦物体定位与运动预测？
• RQ2 在不重训练的情况下，一个在某数据集上训练的运动预测网络能否迁移到具有不同物体类型的数据集？
• RQ3 结合坐标原子的基于一致性的路由机制，在图像坐标系中对物体的定位精度如何？
• RQ4 所学习的平移变换在多大程度上能在不同数据集间泛化？
• RQ5 参数化的仿射变换网络能否从历史坐标中准确预测未来物体位置？

主要发现

• 在某一数据集上训练的运动预测网络，无需重训练即可成功泛化到具有不同物体类型的新数据集。
• 仅需在新数据集上微调CapsNet组件，而运动预测头保持冻结且可迁移。
• 所提出的结合坐标原子的路由算法相比标准CapsNet路由，显著提升了物体位置估计的准确性。
• 参数化的仿射变换网络能从2D坐标中学习到一致的平移动力学，实现对未来位置的准确预测。
• 定位与运动预测的分离设计，使得在不同数据集间实现高效的迁移学习，仅需极少微调。
• 即使在不同数据集间物体类型和视觉外观存在显著差异时，系统仍表现出运动建模的可迁移性。