[论文解读] MODETR: Moving Object Detection with Transformers

Eslam Mohamed, Ahmad El Sallab|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 8被引用 4

一句话总结

MODETR 提出了一种基于双流 Transformer 的移动物体检测（MOD）架构，通过多头自注意力机制在空间（RGB）和运动（光流或堆叠 RGB）模态之间融合特征。通过引入时间位置编码（TPE）以扩展 DETR 的空间位置编码，MODETR 在 KITTI MOD 数据集上相比最先进方法实现了 5% 的 mAP 提升，相比仅使用 RGB 的基线模型实现了 10% 的 mAP 提升。

ABSTRACT

Moving Object Detection (MOD) is a crucial task for the Autonomous Driving pipeline. MOD is usually handled via 2-stream convolutional architectures that incorporates both appearance and motion cues, without considering the inter-relations between the spatial or motion features. In this paper, we tackle this problem through multi-head attention mechanisms, both across the spatial and motion streams. We propose MODETR; a Moving Object DEtection TRansformer network, comprised of multi-stream transformer encoders for both spatial and motion modalities, and an object transformer decoder that produces the moving objects bounding boxes using set predictions. The whole architecture is trained end-to-end using bi-partite loss. Several methods of incorporating motion cues with the Transformer model are explored, including two-stream RGB and Optical Flow (OF) methods, and multi-stream architectures that take advantage of sequence information. To incorporate the temporal information, we propose a new Temporal Positional Encoding (TPE) approach to extend the Spatial Positional Encoding(SPE) in DETR. We explore two architectural choices for that, balancing between speed and time. To evaluate the our network, we perform the MOD task on the KITTI MOD [6] data set. Results show significant 5% mAP of the Transformer network for MOD over the state-of-the art methods. Moreover, the proposed TPE encoding provides 10% mAP improvement over the SPE baseline.

研究动机与目标

• 解决 2D 卷积神经网络 在移动物体检测中建模空间与运动特征之间相互关系的局限性。
• 通过引入光流或连续 RGB 帧的运动线索，将 DETR 架构扩展以处理时空特征。
• 设计一种时间编码机制，使 Transformer 能够有效建模序列化运动模式。
• 在统一的 Transformer 框架中评估不同运动特征融合策略（RGB+OF 与 RGB+RGB）以及 TPE 变体的性能。

提出的方法

• 将 DETR 的编码器-解码器架构改造为双流设计，分别为空间（RGB）和运动（OF 或堆叠 RGB）特征设置独立的编码器。
• 在空间和运动流中均使用空间位置编码（SPE）进行多头自注意力计算，以建模空间关系。
• 提出一种新颖的时间位置编码（TPE），用于扩展 SPE，从而实现对连续帧间时间动态的建模。
• 探索两种 TPE 策略：早期 TPE（在特征融合前应用）与晚期 TPE（在单帧编码后应用），在速度与性能之间取得平衡。
• 通过拼接或 1x1 卷积实现双流融合，再输入基于对象查询的解码器。
• 采用二部匹配损失进行端到端训练，实现集合预测的端到端优化，无需后处理。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效建模移动物体检测中的空间与运动特征，从而超越基于 2D CNN 的方法？
• RQ2 在基于 Transformer 的 MOD 系统中，使用光流与堆叠 RGB 帧作为运动线索，对检测性能有何影响？
• RQ3 不同的时间编码策略（早期 vs. 晚期 TPE）对双流 Transformer 中运动动态建模的影响如何？
• RQ4 通过引入 TPE 改进的 DETR 能否在 KITTI MOD 基准上实现最先进性能？
• RQ5 MODETR 中的注意力机制是否能有效聚焦于移动物体？其在不同输入模态下的表现有何差异？

主要发现

• MODETR 的 RGB+OF 变体在 KITTI MOD 数据集上达到 42.9% mAP，相比最佳现有最先进方法提升 5%。
• 在 RGB+OF 设置下，所提出的 时间位置编码（TPE）相比基线空间位置编码（SPE）实现 10% 的 mAP 提升。
• 在 RGB+RGB 配置中，早期 TPE 变体达到 33.3% mAP，优于晚期 TPE（24.4%），证明了早期时间特征融合的有效性。
• MODETR 的注意力图明显聚焦于移动部件（如车轮和物体边界），尤其在 RGB+OF 设置下，表明对运动线索的有效关注。
• 尽管 MODNet 和 InstanceMotSeg 模型采用多任务学习，MODETR 在相同基准上仍表现更优，表明端到端 Transformer 设计的优势。
• RGB+OF 输入的模型达到 66.3% mAP@50，显著优于仅使用 RGB 的基线模型（48.3% mAP@50），凸显显式运动特征的价值。