[论文解读] A Neuromorphic Dataset for Object Segmentation in Indoor Cluttered Environment

Xiaoqian Huang, Kachole Sanket+4 more|arXiv (Cornell University)|Feb 13, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本论文提出了事件基础分割数据集（ESD），这是一个新颖的3D时空基准数据集，用于在杂乱的室内环境中使用双目事件相机进行目标分割。该数据集包含145段序列，共14,166帧RGB图像和2188万/2080万条事件数据，所有数据均经过人工标注实例掩码，通过融合RGB与事件数据实现高精度分割，在已知目标上的mIoU达到85.81%，在未知目标上的mIoU达到18.90%，均基于跨模态网络实现。

ABSTRACT

Taking advantage of an event-based camera, the issues of motion blur, low dynamic range and low time sampling of standard cameras can all be addressed. However, there is a lack of event-based datasets dedicated to the benchmarking of segmentation algorithms, especially those that provide depth information which is critical for segmentation in occluded scenes. This paper proposes a new Event-based Segmentation Dataset (ESD), a high-quality 3D spatial and temporal dataset for object segmentation in an indoor cluttered environment. Our proposed dataset ESD comprises 145 sequences with 14,166 RGB frames that are manually annotated with instance masks. Overall 21.88 million and 20.80 million events from two event-based cameras in a stereo-graphic configuration are collected, respectively. To the best of our knowledge, this densely annotated and 3D spatial-temporal event-based segmentation benchmark of tabletop objects is the first of its kind. By releasing ESD, we expect to provide the community with a challenging segmentation benchmark with high quality.

研究动机与目标

• 为解决在非结构化室内环境中缺乏高质量、3D时空事件数据集（含深度信息与实例级标注）用于目标分割的问题。
• 提供一个基准，用于评估在遮挡、运动模糊、低光照及可变物体构型等挑战性条件下的分割算法性能。
• 支持基于深度学习的分割模型开发与比较，利用事件相机与RGB帧之间的互补数据。
• 推动机器人视觉系统在真实杂乱环境中实现抓取与操作任务的发展。

提出的方法

• 作者采用双事件相机以立体配置采集数据，并与RGB相机同步，以捕获高时间分辨率的事件流及其对应的图像帧。
• 共记录了145段序列，涵盖多样的相机运动类型（线性、旋转、线性-旋转组合）、光照条件以及包含遮挡的物体排列。
• 为全部14,166帧RGB图像手工创建了实例分割掩码，对两台相机的2188万条和2080万条事件数据提供了密集的像素级标注。
• 数据集包含来自RGBD设置的深度信息，支持3D空间理解，对遮挡场景中的分割至关重要。
• 训练并评估了两种跨模态分割模型——SA-GATE与CMX，基于融合的RGB与事件数据，以评估其在不同条件下的性能表现。
• 事件数据通过自定义MATLAB工具自动标注，确保了标注的一致性与可扩展性。

Figure 1 : Hardware setup. Experimental hardware setup (left-side figure): three cameras are fixed on the end-effector of the UR10’s manipulator. Camera configuration (right-side figure): The RGBD camera Intel D435 is placed in the middle, and two event-based cameras Davis 346c are mounted on the le

实验结果

研究问题

• RQ1 与仅使用RGB的方法相比，RGB与事件数据融合在杂乱室内环境中如何提升实例分割的准确性？
• RQ2 当在事件数据上进行训练时，分割模型在未知目标上的表现如何？与已知目标分割相比有何差异？
• RQ3 不同类型的相机运动（线性、旋转、组合）如何影响事件视觉中的分割准确性？
• RQ4 与传统RGB相机相比，事件数据在多大程度上缓解了运动模糊与低光照退化对目标分割的影响？
• RQ5 在事件视觉与仅RGB设置下，物体数量与遮挡水平如何影响分割性能？

主要发现

• CMX模型在使用融合RGB与事件数据时，对已知目标的mIoU达到85.81%，显著优于仅使用RGB的基线方法。
• 对于未知目标，CMX的mIoU下降至18.90%，表明在事件数据上实现零样本分割仍面临重大挑战。
• 在旋转相机运动中，CMX使用事件数据使mIoU相比线性运动提高了3.77%和4.42%，归因于更丰富的边缘信息。
• 在低光照条件下，仅RGB方法的mIoU低于50%，而事件融合方法的mIoU保持在约85%，展现出对光照变化的强鲁棒性。
• 尽管整体准确率影响较小，CMX模型在相机与桌面距离为62–82 cm的多种距离下，相比DeepLabV3仍保持0.67%的性能优势。
• 在多目标场景中观察到U形mIoU趋势，6个物体时性能最低，归因于完全堆叠导致的密集遮挡，凸显了密集遮挡场景下的分割难度。

(a)