[论文解读] Dense Continuous-Time Optical Flow from Events and Frames

Mathias Gehrig, Manasi Muglikar+1 more|arXiv (Cornell University)|Mar 25, 2022

Neural dynamics and brain function被引用 7

一句话总结

本文提出了一种新颖的可微分神经网络，通过将像素轨迹建模为参数化的贝塞尔曲线，从事件相机数据中估计密集的连续时间光流。通过利用多个时间相关体积并迭代优化贝塞尔曲线，该方法在连续轨迹预测和传统两帧光流基准测试中均达到最先进性能，在合成数据上将终点误差降低高达67%，在真实世界数据上降低14.5%。

ABSTRACT

We present a method for estimating dense continuous-time optical flow from event data. Traditional dense optical flow methods compute the pixel displacement between two images. Due to missing information, these approaches cannot recover the pixel trajectories in the blind time between two images. In this work, we show that it is possible to compute per-pixel, continuous-time optical flow using events from an event camera. Events provide temporally fine-grained information about movement in pixel space due to their asynchronous nature and microsecond response time. We leverage these benefits to predict pixel trajectories densely in continuous time via parameterized Bézier curves. To achieve this, we build a neural network with strong inductive biases for this task: First, we build multiple sequential correlation volumes in time using event data. Second, we use Bézier curves to index these correlation volumes at multiple timestamps along the trajectory. Third, we use the retrieved correlation to update the Bézier curve representations iteratively. Our method can optionally include image pairs to boost performance further. To the best of our knowledge, our model is the first method that can regress dense pixel trajectories from event data. To train and evaluate our model, we introduce a synthetic dataset (MultiFlow) that features moving objects and ground truth trajectories for every pixel. Our quantitative experiments not only suggest that our method successfully predicts pixel trajectories in continuous time but also that it is competitive in the traditional two-view pixel displacement metric on MultiFlow and DSEC-Flow. Open source code and datasets are released to the public.

研究动机与目标

• 为解决传统光流方法仅计算帧间离散像素位移的局限性，避免帧间盲区期间的运动丢失。
• 利用事件相机的异步、高时间分辨率特性，估计密集的连续像素轨迹，而非离散位移。
• 开发一种可微分的深度学习模型，通过回归每个像素的贝塞尔曲线控制点来建模运动，推广RAFT和E-RAFT。
• 引入一个新的合成数据集MultiFlow，包含密集的真实像素轨迹，用于训练和评估。
• 证明结合事件数据与图像对可进一步提升性能，优于单一模态方法。

提出的方法

• 该方法使用具有强归纳偏置的神经网络：从事件数据中构建多个时间序列相关体积，以捕捉时空运动线索。
• 使用贝塞尔曲线对像素轨迹进行参数化，实现任意时间戳下像素位置的连续时间预测。
• 通过在轨迹沿线插值时间点处，从多个时间相关体积中检索相关特征，迭代更新贝塞尔曲线控制点。
• 该模型支持纯事件数据推理，也支持与图像对融合以提升性能。
• 通过支持多时间相关查找和贝塞尔曲线的非线性轨迹建模，推广了RAFT和E-RAFT。
• 架构采用可配置时间分箱大小的体素网格表示事件数据，以平衡分辨率与计算成本。

实验结果

研究问题

• RQ1 仅从事件数据中是否能准确回归密集的连续时间光流，而无需依赖帧输入？
• RQ2 与传统离散位移预测相比，将像素轨迹建模为贝塞尔曲线是否能提升运动估计精度？
• RQ3 时间相关查找次数如何影响连续轨迹估计的精度？
• RQ4 所提方法是否能泛化到真实世界数据，并在轨迹和两视图光流度量上均优于现有最先进方法？
• RQ5 在结合事件数据时，引入图像数据在多大程度上能提升性能？

主要发现

• 与仅预测离散位移的基线相比，该方法在合成数据集MultiFlow上将终点误差（EPE）降低了约67%。
• 将相关查找次数从1次增加到5次，可使轨迹终点误差（TEPE）从1.81降至1.29，证明了多时间特征检索的优势。
• 在体素网格表示中使用更细的时间分箱大小（0.0125 s）可提升性能，TEPE从0.1分箱大小下的1.81降至0.0125分箱大小下的1.29。
• 在真实世界DSEC-Flow基准上，该方法相比先前最先进事件基方法将终点误差降低了14.5%。
• 在传统两视图光流度量上，该模型表现具有竞争力，MultiFlow上的平均误差（AE）和终点误差（EPE）分别为3.19和2.27。
• 在输入中加入图像数据可进一步提升性能，联合E+I输入的误差低于仅事件数据推理。