[论文解读] Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform

Alex Zihao Zhu, Ziyun Wang+1 more|arXiv (Cornell University)|Feb 18, 2019

Functional Brain Connectivity Studies参考文献 24被引用 5

一句话总结

本文提出时间归一化变换（TNT），通过将空间坐标按时间戳归一化，使事件相机数据对光流保持等变性，从而在无需大量数据增强的情况下使CNN模型在运动变化中实现泛化。该方法在N-MNIST和一个新的具有多样化运动方向的N-MOVING-MNIST数据集上达到最先进性能。

ABSTRACT

In this work, we propose a novel transformation for events from an event camera that is equivariant to optical flow under convolutions in the 3-D spatiotemporal domain. Events are generated by changes in the image, which are typically due to motion, either of the camera or the scene. As a result, different motions result in a different set of events. For learning based tasks based on a static scene such as classification which directly use the events, we must either rely on the learning method to learn the underlying object distinct from the motion, or to memorize all possible motions for each object with extensive data augmentation. Instead, we propose a novel transformation of the input event data which normalizes the $x$ and $y$ positions by the timestamp of each event. We show that this transformation generates a representation of the events that is equivariant to this motion when the optical flow is constant, allowing a deep neural network to learn the classification task without the need for expensive data augmentation. We test our method on the event based N-MNIST dataset, as well as a novel dataset N-MOVING-MNIST, with significantly more variety in motion compared to the standard N-MNIST dataset. In all sequences, we demonstrate that our transformed network is able to achieve similar or better performance compared to a network with a standard volumetric event input, and performs significantly better when the test set has a larger set of motions than seen at training.

研究动机与目标

• 为解决事件分类中运动可变性带来的挑战，标准CNN因依赖运动的事件表示而表现受限。
• 通过事件坐标的几何变换学习运动不变特征，减少对数据增强的依赖。
• 在测试运动与训练运动不同的低数据量场景下，提升泛化能力。
• 构建一个新数据集N-MOVING-MNIST，包含30种运动方向，以更全面评估运动鲁棒性。
• 证明通过TNT实现的运动等变性可使模型在未见运动模式上取得更优性能。

提出的方法

• 提出时间归一化变换（TNT），将每个事件(x, y, t)映射为(x/t, y/t, t)，在时空域中将运动转换为均匀平移。
• 使用空间变压器网络进行关键点回归，估计中心关键点，通过将事件围绕其居中实现平移不变性。
• 将TNT变换后的事件作为标准3D CNN的输入，利用卷积层对运动引起的平移保持等变性。
• 采用两阶段流程：先检测关键点，再进行TNT变换，确保同时具备不变性与等变性。
• 推导理论等价性，证明在恒定光流条件下，TNT可使网络对光流保持等变性。
• 在变换后的事件体积上使用标准3D卷积的体素CNN进行分类。

实验结果

研究问题

• RQ1 坐标变换能否使CNN在事件数据中对光流保持等变性，从而提升对运动变化的泛化能力？
• RQ2 时间归一化变换（TNT）是否能减少事件分类中对数据增强的依赖？
• RQ3 当测试运动未在训练中出现时，尤其在低数据量场景下，该方法性能如何？
• RQ4 学习得到的关键点是否能优于固定居中方式，提升事件分类性能？
• RQ5 该方法在高运动多样性数据集（如N-MOVING-MNIST）上表现如何？

主要发现

• TNT变换后的网络在N-MNIST数据集上的性能与标准体素CNN相当或更优。
• 在包含30种运动方向的N-MOVING-MNIST数据集中，当测试运动多样性超过训练多样性时，TNT方法显著优于标准CNN。
• 该方法能良好泛化至未见运动模式，在零样本运动泛化场景中表现出强鲁棒性。
• 关键点回归网络相比固定居中方式带来小幅性能提升，表明对相关事件内容的定位更优。
• 理论分析证实，在恒定光流条件下，TNT可确保对光流的等变性，使卷积层保持运动特征。
• 该方法降低了学习运动变化所需的网络容量，因其通过变换显式编码运动不变性，而非从数据中学习。