[论文解读] AdaMixer: A Fast-Converging Query-Based Object Detector

Ziteng Gao, Limin Wang+2 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用 5

一句话总结

AdaMixer 提出了一种快速收敛的基于查询的目标检测器，通过自适应3D特征采样和动态MLP-Mixer解码，提升了查询的自适应能力，在使用ResNeXt-Swin-S主干网络和12个训练周期的情况下，于MS COCO上实现了51.3的SOTA AP，且无需额外的注意力编码器或显式的特征金字塔网络。

ABSTRACT

Traditional object detectors employ the dense paradigm of scanning over locations and scales in an image. The recent query-based object detectors break this convention by decoding image features with a set of learnable queries. However, this paradigm still suffers from slow convergence, limited performance, and design complexity of extra networks between backbone and decoder. In this paper, we find that the key to these issues is the adaptability of decoders for casting queries to varying objects. Accordingly, we propose a fast-converging query-based detector, named AdaMixer, by improving the adaptability of query-based decoding processes in two aspects. First, each query adaptively samples features over space and scales based on estimated offsets, which allows AdaMixer to efficiently attend to the coherent regions of objects. Then, we dynamically decode these sampled features with an adaptive MLP-Mixer under the guidance of each query. Thanks to these two critical designs, AdaMixer enjoys architectural simplicity without requiring dense attentional encoders or explicit pyramid networks. On the challenging MS COCO benchmark, AdaMixer with ResNet-50 as the backbone, with 12 training epochs, reaches up to 45.0 AP on the validation set along with 27.9 APs in detecting small objects. With the longer training scheme, AdaMixer with ResNeXt-101-DCN and Swin-S reaches 49.5 and 51.3 AP. Our work sheds light on a simple, accurate, and fast converging architecture for query-based object detectors. The code is made available at https://github.com/MCG-NJU/AdaMixer

研究动机与目标

• 通过提升解码器对不同物体的自适应能力，解决基于查询的目标检测器收敛缓慢与性能受限的问题。
• 通过消除对额外注意力编码器或显式特征金字塔颈部结构的需求，降低模型架构复杂度。
• 通过实现自适应的空间与尺度特征采样及动态内容混合，增强基于查询的解码能力。
• 在极短的训练时间与简单的数据增强策略下实现高精度，使其成为未来研究的强有力基线。

提出的方法

• 引入自适应3D特征采样机制，使每个查询通过估计的偏移量，动态地在空间位置与不同尺度层级上采样特征。
• 将多尺度特征图表示为3D张量（H×W×C），以在采样过程中实现空间与尺度层级的联合注意力。
• 应用查询引导的动态卷积核，通过MLP-Mixer对采样特征进行自适应通道与空间混合。
• 使用可学习的查询嵌入，引导空间-尺度采样过程以及后续的特征混合流程。
• 设计解码器为端到端可训练结构，无需额外模块如FPN或Transformer编码器。
• 利用PyTorch的grid_sample实现自适应采样，实现可微、高效且可微分的特征插值。

Figure 1 : Convergence curves of our AdaMixer, DETR, Deformable DETR and Sparse R-CNN with ResNet-50 as the backbone on MS COCO minival set.

实验结果

研究问题

• RQ1 基于查询的目标检测器是否能在不依赖复杂辅助网络的前提下实现更快的收敛速度与更高的精度？
• RQ2 自适应3D特征采样在不同物体尺度与位置下，如何提升查询表征能力？
• RQ3 动态MLP-Mixer解码在保持架构简洁性的同时，能在多大程度上增强特征混合能力？
• RQ4 仅使用12个训练周期与最小化数据增强策略，该方法能否在性能上超越现有SOTA模型？
• RQ5 在多尺度建模与特征采样灵活性方面，该方法与RoIAlign及可变形卷积相比表现如何？

主要发现

• 使用ResNet-50主干网络的AdaMixer在仅12个训练周期与随机翻转增强下，于MS COCO minival上达到45.0 AP，优于DETR与可变形DETR。
• 在3倍训练周期与更强增强策略下，采用Swin-S主干网络的AdaMixer在COCO test-dev上达到51.3 AP，超越了此前所有基于查询的检测器。
• 模型在小物体检测上达到27.9 AP（APs），表明其在细粒度检测任务中表现优异。
• 使用ResNeXt-101-DCN主干网络的AdaMixer达到49.5 AP，证明其在更大主干网络上的强可扩展性与性能。
• 尽管参数量更高，AdaMixer在收敛速度与推理速度（V100上达15 FPS）方面优于DETR与Sparse R-CNN。
• 可视化结果表明，不同查询与阶段的采样点分布各异，呈现非单调的扩散模式，暗示其具备更强的定位能力。

Figure 2 : 3D feature sampling process. A query first obtains sampling points in the 3D feature space and then perform 3D interpolation on these sampling points.