[论文解读] MOMS with Events: Multi-Object Motion Segmentation With Monocular Event Cameras.

Chethan M. Parameshwara, Nitin J. Sanket+3 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Memory and Neural Computing参考文献 29被引用 6

一句话总结

本文提出了一种新颖的方法，通过结合经典优化与深度学习，利用单目事件相机实现多目标运动分割，以估计并补偿全局刚性运动，然后通过特征跟踪与时间梯度对齐迭代分割场景为多种运动。该方法在EV-IMO、EED和MOD数据集上分别实现了77.06%、94.2%和82.35%的新SOTA平均检测率，相较于之前的方法最高提升达12%。

ABSTRACT

Segmentation of moving objects in dynamic scenes is a key process in scene understanding for both navigation and video recognition tasks. Without prior knowledge of the object structure and motion, the problem is very challenging due to the plethora of motion parameters to be estimated while being agnostic to motion blur and occlusions. Event sensors, because of their high temporal resolution, and lack of motion blur, seem well suited for addressing this problem. We propose a solution to multi-object motion segmentation using a combination of classical optimization methods along with deep learning and does not require prior knowledge of the 3D motion and the number and structure of objects. Using the events within a time-interval, the method estimates and compensates for the global rigid motion. Then it segments the scene into multiple motions by iteratively fitting and merging models using input tracked feature regions via alignment based on temporal gradients and contrast measures. The approach was successfully evaluated on both challenging real-world and synthetic scenarios from the EV-IMO, EED, and MOD datasets, and outperforms the state-of-the-art detection rate by as much as 12% achieving a new state-of-the-art average detection rate of 77.06%, 94.2% and 82.35% on the aforementioned datasets.

研究动机与目标

• 解决在缺乏目标结构或运动先验知识的情况下，对动态场景中多个运动目标进行分割的挑战。
• 克服单目视频中运动模糊、遮挡以及高维运动参数估计带来的困难。
• 利用事件相机的高时间分辨率和无运动模糊特性，提升运动分割性能。
• 开发一种无需事先了解3D运动、目标数量或目标结构的方法。
• 在基于事件感知的多目标运动分割中实现SOTA性能。

提出的方法

• 该方法首先在时间区间内利用事件估计并补偿全局刚性运动。
• 它在帧间跟踪特征区域，并利用时间梯度和对比度度量对齐这些区域以进行模型拟合。
• 基于对齐质量和一致性，迭代拟合并合并多个运动模型。
• 该方法结合经典优化技术与深度学习组件，实现鲁棒的特征跟踪与运动估计。
• 该算法以端到端方式运行，利用事件数据推断多个独立运动，无需先验假设。
• 它通过反馈回路迭代改进对齐与合并相似运动分量，以优化运动模型。

实验结果

研究问题

• RQ1 事件相机是否能够在缺乏目标结构或运动先验知识的情况下，实现准确的多目标运动分割？
• RQ2 如何在基于事件的数据中有效估计并补偿全局刚性运动，以改善多种运动的分割？
• RQ3 时间梯度与对比度度量在提升跟踪特征对齐质量以支持运动模型拟合方面，能发挥多大作用？
• RQ4 在多样化的现实世界与合成场景中，该方法与SOTA方法相比，在检测准确率方面表现如何？
• RQ5 基于对齐质量的迭代模型拟合与合并，是否能在存在遮挡和运动模糊的情况下实现鲁棒分割？

主要发现

• 所提方法在EV-IMO数据集上实现了77.06%的新SOTA平均检测率。
• 在EED数据集上，该方法达到了94.2%的平均检测率，显著优于先前方法。
• 在MOD数据集上，该方法实现了82.35%的平均检测率，展现出跨数据集的强大泛化能力。
• 在所评估的数据集中，该方法相较之前SOTA方法，检测性能最高提升达12%。
• 由于事件传感器的高时间分辨率，该方法能有效处理涉及运动模糊和遮挡的复杂场景。
• 经典优化与深度学习的结合，使得该方法在无需对目标数量或3D运动作任何先验假设的情况下，仍能实现鲁棒且精确的分割。