[論文レビュー] Object Detection with Transformers: A Review

Tahira Shehzadi, Khurram Azeem Hashmi+2 more|arXiv (Cornell University)|Jun 7, 2023

Advanced Neural Network Applications被引用数 17

ひとこと要約

この論文は DETR と21件のその後のDETRベースの改良を調査し、COCOなどのベンチマークにおけるアーキテクチャの変更、訓練の収束、性能を分析する。

ABSTRACT

The astounding performance of transformers in natural language processing (NLP) has motivated researchers to explore their applications in computer vision tasks. DEtection TRansformer (DETR) introduces transformers to object detection tasks by reframing detection as a set prediction problem. Consequently, eliminating the need for proposal generation and post-processing steps. Initially, despite competitive performance, DETR suffered from slow training convergence and ineffective detection of smaller objects. However, numerous improvements are proposed to address these issues, leading to substantial improvements in DETR and enabling it to exhibit state-of-the-art performance. To our knowledge, this is the first paper to provide a comprehensive review of 21 recently proposed advancements in the original DETR model. We dive into both the foundational modules of DETR and its recent enhancements, such as modifications to the backbone structure, query design strategies, and refinements to attention mechanisms. Moreover, we conduct a comparative analysis across various detection transformers, evaluating their performance and network architectures. We hope that this study will ignite further interest among researchers in addressing the existing challenges and exploring the application of transformers in the object detection domain. Readers interested in the ongoing developments in detection transformers can refer to our website at: https://github.com/mindgarage-shan/trans_object_detection_survey

研究の動機と目的

• DETRとそのアーキテクチャ的モジュールの包括的な概要を提供する。
• バックボーン、事前学習、注意機構、クエリ設計によるDETRの改良を分類・要約する。
• MS COCOにおける検出トランスフォーマーのパフォーマンスと訓練ダイナミクスを評価する。
• 検出トランスフォーマーの構成要素と将来の方向性について議論する。

提案手法

• DETRとその多数の改良をカタログ化し説明する。
• Variantenごとにアーキテクチャ的要素と訓練戦略を比較する。
• COCOにおける収束挙動と物体検出性能を評価する。
• 異なる注意設計とクエリ設計の効率性と精度を要約する。

Figure 1 : Statistics overview of the literature on Transformers. (a) Number of citations per year of Transformer papers. (b) Citations in the last 12 months on Detection Transformer papers. (c) Modification percentage in original DEtection TRansformer (DETR) to improve performance and training conv

実験結果

リサーチクエスチョン

• RQ1 DETRの主要なアーキテクチャ要素は何であり、それらは後継機でどのように進化してきたのか？
• RQ2 バックボーンの変更、事前学習戦略、注意機構、クエリ設計は訓練の収束と小物体検出にどのように影響するのか？
• RQ3 最先端の検出トランスフォーマーはMS COCOで精度と効率の点でどのように比較されるのか？
• RQ4 検出トランスフォーマーの主な課題と今後の方向性は何か？

主な発見

• DETRは領域提案とNMSを排除するセットベースのエンドツーエンドの物体検出器を導入した。
• 収束の遅さと小物体の性能に対処するための多くの改良があり、変形可能な注意やマルチスケール特徴が含まれる。
• Deformable-DETRは参照点の近くの注意サンプルに焦点を当てることで計算量を削減し、訓練を速くする。
• 他のバリアント（UP-DETR、SMCA-DETR、Conditional-DETR、TSP-DETRなど）は事前訓練、空間的に変調された共注意、クロス注意の改良、RoIベースの改良を提案して収束と精度を向上させる。
• WB-DETRはCNNバックボーンなしでトランスフォーマーのエンコーダ-デコーダを用いた検出を探究し、ローカル情報の強化で欠落する局所性を補う。
• 全体として、調査対象の手法は元のDETRと比較して収束を速くし小物体の性能を向上させる傾向を示しており、設計上のトレードオフも多様である。

Figure 2 : An overview of the DEtection TRansformer (DETR) and its modifications proposed by recent methods to improve performance and training convergence. It considers the detection a set prediction task and uses the Transformer to free the network from post-processing steps such as non-maximal su