[论文解读] InstanceMotSeg: Real-time Instance Motion Segmentation for Autonomous Driving

Eslam Mohamed, Mahmoud Ewaisha+4 more|arXiv (Cornell University)|Aug 16, 2020

Advanced Neural Network Applications参考文献 23被引用 12

一句话总结

本文提出 InstanceMotSeg，一种用于自动驾驶的实时实例运动分割框架，通过共享原型和任务特定系数，将 YOLACT 扩展为联合预测运动和语义实例掩码。该方法在 Titan Xp 上实现 39 fps 的推理速度，mAP 比基线模型高出 10%，并基于 KITTI 构建了新的数据集以支持运动感知的实例分割任务。

ABSTRACT

Moving object segmentation is a crucial task for autonomous vehicles as it can be used to segment objects in a class agnostic manner based on its motion cues. It will enable the detection of objects unseen during training (e.g., moose or a construction truck) generically based on their motion. Although pixel-wise motion segmentation has been studied in the literature, it is not dealt with at instance level, which would help separate connected segments of moving objects leading to better trajectory planning. In this paper, we proposed a motion-based instance segmentation task and created a new annotated dataset based on KITTI, which will be released publicly. We make use of the YOLACT model to solve the instance motion segmentation network by feeding inflow and image as input and instance motion masks as output. We extend it to a multi-task model that learns semantic and motion instance segmentation in a computationally efficient manner. Our model is based on sharing a prototype generation network between the two tasks and learning separate prototype coefficients per task. To obtain real-time performance, we study different efficient encoders and obtain 39 fps on a Titan Xp GPU using MobileNetV2 with an improvement of 10% mAP relative to the baseline. A video demonstration of our work is available in this https URL.

研究动机与目标

• 为解决自动驾驶中连通运动物体未被分离的实例级运动分割问题。
• 仅基于运动线索实现对未见运动物体（如驼鹿、施工车辆）的检测。
• 开发计算效率高的模型，实现实时推理以支持自动驾驶系统部署。
• 构建并发布基于 KITTI 的新型实例级运动标注数据集，以支持基准测试。

提出的方法

• 扩展 YOLACT 架构，通过共享原型网络联合预测实例运动掩码和语义掩码。
• 使用任务特定的原型系数，在共享特征提取的同时解耦运动和语义分割头。
• 将输入图像和光流（inflow）输入网络，利用运动线索实现实例级分割。
• 采用 MobileNetV2 作为高效编码器，在 Titan Xp 上实现 39 fps 的实时推理速度。
• 端到端训练模型，损失函数结合运动和语义掩码预测的多任务损失。
• 基于 KITTI 对新数据集进行实例级运动掩码标注，以支持新任务。

实验结果

研究问题

• RQ1 能否有效构建并训练基于运动的实例分割方法，以在自动驾驶场景中分离连通的运动物体？
• RQ2 如何在计算开销最小的前提下，联合学习运动与语义实例分割？
• RQ3 何种高效的主干网络架构可实现实时性能，同时不牺牲运动实例分割的准确性？
• RQ4 所提出的基于共享原型的多任务学习方法相比基线模型，如何提升泛化能力与 mAP？

主要发现

• 所提出的 InstanceMotSeg 模型在 Titan Xp GPU 上实现 39 fps 的推理速度，支持实时性能。
• 与基线 YOLACT 模型相比，该模型在新实例运动分割基准上的 mAP 提高了 10%。
• 使用共享原型结合任务特定系数，实现了高效的多任务学习，且未造成显著精度下降。
• 公开发布了基于 KITTI 的新型实例级运动标注数据集，以支持未来在运动感知实例分割方面的研究。
• 该模型以类别无关的方式成功分割运动物体，仅依赖运动线索即可检测此前未见的物体类别。