[論文レビュー] Fast Convergence of DETR with Spatially Modulated Co-Attention

Peng Gao, Minghang Zheng+3 more|arXiv (Cornell University)|Aug 5, 2021

Advanced Neural Network Applications被引用数 15

ひとこと要約

本稿では、空間的に調整された共同注意（SMCA）を提案する。SMCAは、ガウス型重みマップを介して位置に敏感な空間的事前知識を導入することで、デコーダー内の共同注意をガイドする、プラグアンドプレイ型モジュールである。SMCAは108エポックで45.6 mAPを達成し、DETRの500エポックでの43.3 mAPを上回るが、構造的変更を最小限に抑えつつ、大幅な訓練時間短縮を実現する。

ABSTRACT

The recently proposed Detection Transformer (DETR) model successfully applies Transformer to objects detection and achieves comparable performance with two-stage object detection frameworks, such as Faster-RCNN. However, DETR suffers from its slow convergence. Training DETR from scratch needs 500 epochs to achieve a high accuracy. To accelerate its convergence, we propose a simple yet effective scheme for improving the DETR framework, namely Spatially Modulated Co-Attention (SMCA) mechanism. The core idea of SMCA is to conduct location-aware co-attention in DETR by constraining co-attention responses to be high near initially estimated bounding box locations. Our proposed SMCA increases DETR's convergence speed by replacing the original co-attention mechanism in the decoder while keeping other operations in DETR unchanged. Furthermore, by integrating multi-head and scale-selection attention designs into SMCA, our fully-fledged SMCA can achieve better performance compared to DETR with a dilated convolution-based backbone (45.6 mAP at 108 epochs vs. 43.3 mAP at 500 epochs). We perform extensive ablation studies on COCO dataset to validate SMCA. Code is released at https://github.com/gaopengcuhk/SMCA-DETR .

研究の動機と目的

• DETRの収束が遅いため、500エポックもかかることを解決すること。
• デコーダーを除くDETRのコアアーキテクチャを変更せずに、訓練効率を向上させること。
• 注視領域が可能性の高いオブジェクト位置に向かうように、空間的事前知識を組み込むことで、検出性能を向上させること。
• エンドツーエンドのオブジェクト検出を高速化するために、グローバル自己注意とマルチスケール特徴統合の有効性を調査すること。

提案手法

• SMCAは、DETRのデコーダー内にある元の共同注意メカニズムを、動的に予測されたオブジェクト中心とスケールを用いて生成される2次元ガウス型空間重みマップを用いた空間的に調整されたバージョンに置き換える。
• これらの空間的重みマップは、共同注意特徴マップと要素ごとの積算が行われ、注視を予測されたオブジェクト位置付近の領域に制限することで、特徴集約の効率を向上させる。
• この手法は、デコーダー内でマルチヘッドアテンションを統合し、各ヘッドが異なる空間的事前知識を学習することで、多様な受容 field を実現し、特徴選択を改善する。
• ハイブリッドエンコーダーは、スケール内およびマルチスケールの自己注意メカニズムを組み合わせ、スケール間で効率的に情報伝搬を実現するとともに、FLOPsを最小限に抑える。
• マルチスケール自己注意は、すべての空間的位置およびスケール間での特徴相互作用を可能にし、特徴の識別性を向上させる。
• デコーダー内でのスケール選択アテンションにより、各ヘッドが関連する特徴スケールを適応的に選択でき、検出のロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なガウス型アテンションマップを介して空間的事前知識を導入することで、DETRの収束を顕著に加速できるか？
• RQ2 標準的なDETRと比較して、共同注意の空間的調整が検出精度および訓練効率に与える影響は何か？
• RQ3 マルチスケール自己注意とマルチヘッド空間的調整が、基本的なSMCAモジュールをさらに向上させられるか？
• RQ4 Deformable DETR や TSP-RCNN と比較して、SMCA は mAP とオブジェクトサイズにわたる一般化性能において優れているか？
• RQ5 グローバル自己注意とマルチスケール特徴の統合により、局所的アテンション機構と比較して、大規模オブジェクトの局所化が改善されるか？

主な発見

• 基本的なSMCAモジュールは、50エポックで41.0 mAP、108エポックで42.7 mAPを達成し、DETRの500エポックでの43.3 mAPを顕著に上回る。
• 完全なSMCAモデルは108エポックで45.6 mAPに達し、DETR-DC5の500エポックでの43.3 mAPを上回り、訓練時間は45%短縮される。
• SMCAは大規模オブジェクトにおいて60.4 mAPを達成し、Deformable DETRの59.0 mAPを上回り、グローバルアテンションがローカルサンプリングよりも優れていることを示している。
• SMCAは、より少ないバックボーン特徴と単純なアテンションメカニズムを使用しているにもかかわらず、109エポックで45.6 mAPを達成し、Faster R-CNN-FPN-R50の42.0 mAPを上回る。
• 2インライン・インター・2インラインの自己注意構成を持つハイブリッドエンコーダーは、純粋なマルチスケールまたはスケール内エンコーダーと比較して、より少ないパラメータ数と低いFLOPsで43.7 mAPを達成する。
• SMCAは50エポックでTSP-RCNNと同等のmAP（43.7 vs. 43.8）を達成するが、より長いスケジュール（96および108エポック）では、45.6 vs. 45.0 mAPと上回り、長期的収束性に優れていることが示された。