[论文解读] MOPT: Multi-Object Panoptic Tracking

Juana Valeria Hurtado, Rohit Mohan+2 more|arXiv (Cornell University)|Apr 17, 2020

Video Surveillance and Tracking Methods参考文献 28被引用 21

一句话总结

本文提出了多目标全景追踪（MOPT），将语义分割、实例分割与多目标追踪统一为一个端到端框架。所提出的PanopticTrackNet架构在SemanticKITTI上取得48.23%的sPTQ，在Virtual KITTI 2上取得50.3%的PQ，性能超越专用基线模型，且推理速度接近四倍提升。

ABSTRACT

Comprehensive understanding of dynamic scenes is a critical prerequisite for intelligent robots to autonomously operate in their environment. Research in this domain, which encompasses diverse perception problems, has primarily been focused on addressing specific tasks individually rather than modeling the ability to understand dynamic scenes holistically. In this paper, we introduce a novel perception task denoted as multi-object panoptic tracking (MOPT), which unifies the conventionally disjoint tasks of semantic segmentation, instance segmentation, and multi-object tracking. MOPT allows for exploiting pixel-level semantic information of 'thing' and 'stuff' classes, temporal coherence, and pixel-level associations over time, for the mutual benefit of each of the individual sub-problems. To facilitate quantitative evaluations of MOPT in a unified manner, we propose the soft panoptic tracking quality (sPTQ) metric. As a first step towards addressing this task, we propose the novel PanopticTrackNet architecture that builds upon the state-of-the-art top-down panoptic segmentation network EfficientPS by adding a new tracking head to simultaneously learn all sub-tasks in an end-to-end manner. Additionally, we present several strong baselines that combine predictions from state-of-the-art panoptic segmentation and multi-object tracking models for comparison. We present extensive quantitative and qualitative evaluations of both vision-based and LiDAR-based MOPT that demonstrate encouraging results.

研究动机与目标

• 为解决在动态场景中分别处理语义分割、实例分割与多目标追踪所存在的局限性。
• 将这些传统上独立的任务统一为一个整体性感知框架，以提升场景理解能力。
• 开发一种可扩展的端到端模型，利用帧间的时间一致性与像素级关联关系。
• 提出一种新评估指标——软全景追踪质量（sPTQ），用于统一量化评估MOPT性能。
• 通过在视觉与LiDAR模态上的大量实验，证明联合学习的可行性和优越性。

提出的方法

• 提出PanopticTrackNet，一种单阶段、端到端的深度学习模型，采用共享主干网络与针对'stuff'和'thing'分割的专用头。
• 集成一种新型追踪头，通过在嵌入空间中进行掩码关联，学习实例级嵌入并强化时间一致性。
• 采用融合模块，自适应地结合语义、实例与追踪头的预测结果，生成具有统一实例ID的全景输出。
• 基于EfficientPS自顶向下的全景分割框架，扩展其结构并增加追踪头以实现联合优化。
• 使用基于软IoU的损失函数进行掩码预测，采用类似三元组的损失函数进行嵌入学习，以提升追踪一致性。
• 提出sPTQ指标，作为PQ的扩展，通过惩罚时间维度上的错误实例关联来考虑追踪误差。

实验结果

研究问题

• RQ1 一个统一的深度学习模型是否能有效在单个端到端框架中整合语义分割、实例分割与多目标追踪？
• RQ2 与流水线式方法相比，这些任务的联合学习在性能与时间一致性方面有何提升？
• RQ3 时间一致性与像素级关联在遮挡与外观变化下，能在多大程度上增强追踪鲁棒性？
• RQ4 所提出的sPTQ指标是否比现有指标更准确、更全面地评估MOPT性能？
• RQ5 与结合独立模型进行全景分割与多目标追踪的SOTA基线相比，所提模型在准确率与效率方面表现如何？

主要发现

• PanopticTrackNet在SemanticKITTI数据集上达到48.23%的sPTQ，较最佳基线提升2.19%。
• 该模型推理速度接近最佳基线的四倍，展现出显著的计算效率。
• 在Virtual KITTI 2上，PanopticTrackNet取得50.3%的PQ，性能达到SOTA水平，且显著更快。
• 在定性评估中，PanopticTrackNet在遮挡与重新出现时保持了稳定的跟踪ID，而基线模型频繁丢失并重新分配轨迹。
• 在视觉与LiDAR模态下，该模型在MOTS指标上全面超越所有基线，表明其具有更优的追踪泛化能力。
• 尽管在SemanticKITTI的'stuff'类别上性能略低，但PanopticTrackNet在'things'类别上表现更优，且推理速度大幅提升。