[论文解读] End-to-End Video Object Detection with Spatial-Temporal Transformers

Lu H, Qianyu Zhou+8 more|arXiv (Cornell University)|May 23, 2021

Advanced Neural Network Applications参考文献 56被引用 6

一句话总结

该论文提出 TransVOD，一种基于时空 Transformer 架构的端到端视频目标检测框架，消除了人工设计的组件（如光流和循环神经网络）。通过引入时间可变形 Transformer 解码器和一种新颖的粗到细查询聚合策略，TransVOD 在 ImageNet VID 上相比可变形 DETR 实现了 3%-4% 的 mAP 提升，展示了具有简洁端到端流程的最先进性能。

ABSTRACT

Recently, DETR and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, an end-to-end video object detection model based on a spatial-temporal Transformer architecture. The goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow, recurrent neural networks, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS or Tubelet rescoring, which keeps the pipeline simple and clean. In particular, we present temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal Transformer consists of three components: Temporal Deformable Transformer Encoder (TDTE) to encode the multiple frame spatial details, Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (3%-4% mAP) on the ImageNet VID dataset. TransVOD yields comparable results performance on the benchmark of ImageNet VID. We hope our TransVOD can provide a new perspective for video object detection. Code will be made publicly available at https://github.com/SJTU-LuHe/TransVOD.

研究动机与目标

• 通过移除复杂的人工设计组件（如光流、RNN 和关系网络），简化视频目标检测流程。
• 通过 Transformer 建模长距离时序依赖，将 DETR 的端到端检测范式扩展到视频任务。
• 通过统一的注意力机制架构，消除后处理瓶颈（如 Seq-NMS 和 tubelet 重打分）。
• 探索时序注意力在融合跨视频帧的空间目标查询与特征记忆方面的有效性。
• 利用自注意力机制建立一种新型、简洁且高效的视频目标检测基线。

提出的方法

• 引入时间可变形 Transformer 编码器（TDTE），利用可变形注意力对多帧空间特征进行编码。
• 提出时间查询编码器（TQE），在参考帧之间对空间目标查询进行粗到细的聚合，以生成时序目标查询。
• 使用时间可变形 Transformer 解码器（TDTD），结合时序目标查询与特征记忆，生成当前帧的检测结果。
• 使用共享的前馈网络（FFN）从解码器最终输出预测边界框和类别得分。
• 利用 DETR 的目标查询初始化方式，实现无需 NMS 或后处理的端到端训练。
• 在空间和时序编码器中均应用可变形注意力，以高效关注跨帧和空间位置的相关特征。

Figure 1. Illustration of our proposed TransVOD. Our network is based on Spatial Transformer which outputs object query and feature memory of each frame. We propose a temporal Transformer to link both the spatial object queries and feature memories in a temporal dimension to obtain the results of th

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能在无手工设计组件的情况下，有效建模视频目标检测中的长距离时序依赖？
• RQ2 所提出的 TQE 中粗到细的查询聚合策略如何提升帧间特征融合效果？
• RQ3 在视频检测中，时序建模的最优参考帧数量以及编码器/解码器层数是多少？
• RQ4 纯端到端的基于 Transformer 的检测器是否能在视频基准上超越强基准模型（如可变形 DETR）？
• RQ5 在纯注意力机制设计下，移除 Seq-NMS 和 tubelet 重打分等后处理步骤是否会降低性能？

主要发现

• TransVOD 在 ImageNet VID 验证集上相比强基线可变形 DETR 实现了 3%-4% 的 mAP 提升。
• TDTE 编码器的最优层数为 1 层，表明更深的时序编码无法进一步提升性能。
• TDTD 解码器仅需 1 层解码器，表明深度解码对有效检测并非必要。
• TQE 中的粗到细查询聚合策略优于粗到粗和细到细的选择方式，在深层使用 100 个 top-k 查询时达到 79.8% 的 mAP。
• 当参考帧数量达到 8 个或以上时，性能趋于稳定，mAP 在使用 14 个参考帧时达到峰值 79.3%。
• 该模型在不使用光流、RNN 或复杂后处理（如 tubelet 打分）的情况下，实现了 ImageNet VID 上的最先进性能。

Figure 2. The whole pipeline of TransVOD. A shared CNN backbone extracts feature representation of multiple frames. Next, a series of shared Spatial Transformer Encoder (STE) produces the feature memories and these memories are linked and fed into Temporal Deformable Transformer Encoder (TDTE). Mean