[论文解读] Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence

Wenchi Ma, Tianxiao Zhang+1 more|arXiv (Cornell University)|Dec 26, 2021

Advanced Neural Network Applications被引用 6

一句话总结

Miti-DETR 提出了一种残差自注意力机制，将输入 token 直接连接到每个多头自注意力层的输出，以缓解 Transformer 中的秩坍缩问题，在 COCO 目标检测任务上显著提升了收敛速度，并将平均精度提高了最多 3%，且模型参数量和推理时间均未增加。

ABSTRACT

Object Detection with Transformers (DETR) and related works reach or even surpass the highly-optimized Faster-RCNN baseline with self-attention network architectures. Inspired by the evidence that pure self-attention possesses a strong inductive bias that leads to the transformer losing the expressive power with respect to network depth, we propose a transformer architecture with a mitigatory self-attention mechanism by applying possible direct mapping connections in the transformer architecture to mitigate the rank collapse so as to counteract feature expression loss and enhance the model performance. We apply this proposal in object detection tasks and develop a model named Miti-DETR. Miti-DETR reserves the inputs of each single attention layer to the outputs of that layer so that the "non-attention" information has participated in any attention propagation. The formed residual self-attention network addresses two critical issues: (1) stop the self-attention networks from degenerating to rank-1 to the maximized degree; and (2) further diversify the path distribution of parameter update so that easier attention learning is expected. Miti-DETR significantly enhances the average detection precision and convergence speed towards existing DETR-based models on the challenging COCO object detection dataset. Moreover, the proposed transformer with the residual self-attention network can be easily generalized or plugged in other related task models without specific customization.

研究动机与目标

• 解决纯自注意力网络中固有的秩坍缩问题，该问题会随网络深度增加而降低特征表达能力。
• 在不进行数据或超参数调优的情况下，提升基于 DETR 的模型的训练稳定性和收敛速度。
• 通过保留全局特征表示，提升检测性能，尤其是对小物体和大物体的检测。
• 开发一个即插即用的模块，可泛化应用于基于 Transformer 的目标检测及相关任务。
• 证明在 Transformer 模型内部进行架构修改，可在不增加模型大小或推理成本的前提下，超越现有方法。

提出的方法

• 引入一种残差连接，将每个多头自注意力层的输入直接连接到其输出，绕过前馈网络。
• 通过跳跃连接保留非注意力特征，防止注意力输出坍缩为秩-1 矩阵。
• 构建一种残差自注意力网络，通过抵消向秩-1 收敛的归纳偏置，维持深层网络中的表达能力。
• 在 DETR 的 Transformer 编码器和解码器堆栈中应用残差自注意力模块，无需进行架构重构。
• 使用标准训练协议在 COCO 上端到端训练模型，以评估收敛性和检测性能。
• 通过保持与基线 DETR 相同的参数量和推理时间，确保与现有 DETR 框架的兼容性。

实验结果

研究问题

• RQ1 残差自注意力机制能否缓解自注意力网络中的秩坍缩问题，并提升深层 Transformer 的特征表达能力？
• RQ2 所提出的残差连接是否能加速基于 DETR 的目标检测器的收敛并稳定训练过程？
• RQ3 Miti-DETR 在 COCO 上的检测精度提升程度如何，尤其是在小物体和大物体检测方面？
• RQ4 残差自注意力模块是否可泛化到其他基于 Transformer 的模型中，而无需微调或架构修改？
• RQ5 与基线 DETR 和 UP-DETR 相比，该方法是否在不增加推理速度和模型大小的前提下提升性能？

主要发现

• Miti-DETR 在 COCO 数据集上的平均平均精度（AP）相比原始 DETR 提升了约 3%，在 AP75（IoU 阈值为 0.75）上提升达 4%。
• 模型实现了显著更快的收敛速度，训练曲线稳定，且在学习率调度过程中未观察到性能发散。
• Miti-DETR 在可视化结果中减少了误报和漏检现象，例如将领结或飞机错误分类的情况减少，表明定位精度有所提升。
• 该模型保持了与 DETR 相同的参数量和几乎相同的推理时间，而 UP-DETR 增加了模型大小并降低了推理速度。
• Miti-DETR 在不同训练设置下表现出更强的鲁棒性，在训练轮数有限和 GPU 资源受限时，性能仍优于 UP-DETR。
• 残差自注意力机制增强了全局特征表示，尤其在小物体检测方面表现更优，性能提升最为显著。