[論文レビュー] D^2ETR: Decoder-Only DETR with Computationally Efficient Cross-Scale Attention

Jun-Yu Lin, Xiaofeng Mao+4 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Neural Network Applications被引用数 15

ひとこと要約

D²ETRは、従来のエンコーダ・デコーダ型Transformerアーキテクチャに代わり、計算効率の高いクロススケールアテンションメカニズム（CECA）を導入したデコーダオンリーフレームワークを提案する。これにより、バックボーンから得られるマルチスケールで細かく融合された特徴量への直接的なアテンションが可能となり、COCOで50.0 APを達成するという最先端の精度を実現。計算コストは106 GFLOPsに抑えられ、Deformable DETRを上回りながらメモリ使用量とレイテンシを削減する。

ABSTRACT

DETR is the first fully end-to-end detector that predicts a final set of predictions without post-processing. However, it suffers from problems such as low performance and slow convergence. A series of works aim to tackle these issues in different ways, but the computational cost is yet expensive due to the sophisticated encoder-decoder architecture. To alleviate this issue, we propose a decoder-only detector called D^2ETR. In the absence of encoder, the decoder directly attends to the fine-fused feature maps generated by the Transformer backbone with a novel computationally efficient cross-scale attention module. D^2ETR demonstrates low computational complexity and high detection accuracy in evaluations on the COCO benchmark, outperforming DETR and its variants.

研究の動機と目的

• DETRにおけるエンコーダの削除により、エンドツーエンドのオブジェクト検出を簡素化し、アーキテクチャの複雑さと計算コストを低減すること。
• 既存のTransformerベースの検出器におけるマルチスケール特徴量融合およびクロスアテンションの高コスト問題を解決すること。
• モデルパラメータ数や推論レイテンシを増加させることなく、特に小サイズオブジェクトの検出精度を向上させること。
• デコーダオンリーアーキテクチャが、エンコーダ・デコーダ型と同等またはそれ以上の性能を達成できるかどうかを検証すること。
• 軽量でエンドツーエンドの検出パイプラインに統合可能な、即挿し可能なモジュール（CECA）を開発すること。

提案手法

• Transformerバックボーンから得られるマルチスケールで細かく融合された特徴量に直接アテンションを可能にする、エンコーダを排除したデコーダオンリーフレームワーク（D²ETR）を提案する。
• 計算効率の高いクロススケールアテンション（CECA）を導入し、高レベル特徴量をクエリとして、低レベル特徴量をキー／バリューとして用いることで、スパースかつ効率的なクロススケール相互作用を実現する。
• オブジェクトクエリの最適化と予測に、標準のマルチヘッドアテンションまたは可変アテンション機構をデコーダで使用する。
• 特徴量表現を強化するための新規なトークンラベル損失を導入し、特に初期化済みクエリを用いた可変アレンジメントバージョンで顕著な効果を示す。
• 予測ボックス座標を制約することでボックス局所化精度を向上させるため、ロケーションに配慮した損失を適用する。
• CECAをプラグインモジュールとして統合し、任意のTransformerベースの検出器のエンコーダを置き換え可能にし、さまざまなバックボーンとデコーダとの柔軟な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのオブジェクト検出においてエンコーダを排除したデコーダオンリーフレームワークが、競争力のある検出性能を達成できるか？
• RQ2 小サイズオブジェクトの検出に特に配慮しながら、計算コストを抑えたままクロススケール特徴量相互作用を実現する方法は何か？
• RQ3 エンコーダを削除することで、標準のDETRおよびその変種と比較して、モデルの複雑さ、推論速度、精度にどのような影響が生じるか？
• RQ4 補助損失（トークンラベル損失およびロケーションに配慮した損失）は、オブジェクトクエリがバックボーン特徴量から初期化されたデコーダオンリーフレームワークにおいて、性能向上に寄与するか？
• RQ5 提案されたCECAモジュールは、マルチスケール検出において、標準のクロスアテンションおよび可変アテンション機構と比較して、効率性と精度の両面で優れているか？

主な発見

• Deformable D²ETR-SwinTバックボーンを用いたD²ETRは、COCO 2017で50.0 APを達成。Deformable DETR（44.5 AP）を上回り、計算コストは106 GFLOPsに抑えられた。
• Deformable D²ETRは、メモリ使用量をDeformable DETRの1109MBから776MBに削減し、16GB V100 GPU上でのスループットを187から355画像/秒に向上させた。
• TensorRT FP16最適化を適用した場合、推論時間が43msに低下し、ベースラインモデルとのレイテンシギャップが縮小されたが、高い精度を維持した。
• トークンラベル損失を組み合わせたCECAモジュールは、ベースラインD²ETRに対して+8.3のAP向上、Deformable DETRに対して+5.5のAP向上を達成し、優れた一般化性能を示した。
• アブレーションスタディの結果、エンコーダを削除することでGFLOPsが49％（197から106 GFLOPs）削減され、スループットが向上したが、補助損失を導入しないとわずかな精度低下が生じた。
• ロケーションに配慮した損失とトークンラベル損失は、特にクエリがバックボーン特徴量から初期化された可変アレンジメントバージョンで、局所化精度と特徴量表現の両方を顕著に向上させた。