[論文レビュー] DETR++: Taming Your Multi-Scale Detection Transformer

Chi Zhang, Lijuan Liu+5 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

DETR++ は、自己注意の2次関数的複雑性にもかかわらず、マルチスケール検出フレームワークを提案し、双方向特徴ピラミッドネットワーク（BiFPN）を統合することで、スケール間の特徴統合を向上させた。これにより、MS COCO 2017 で 1.9% の AP 向上、RICO アイコン検出で 11.5%、レイアウト抽出で 9.1% の向上を達成した。

ABSTRACT

Convolutional Neural Networks (CNN) have dominated the field of detection ever since the success of AlexNet in ImageNet classification [12]. With the sweeping reform of Transformers [27] in natural language processing, Carion et al. [2] introduce the Transformer-based detection method, i.e., DETR. However, due to the quadratic complexity in the self-attention mechanism in the Transformer, DETR is never able to incorporate multi-scale features as performed in existing CNN-based detectors, leading to inferior results in small object detection. To mitigate this issue and further improve performance of DETR, in this work, we investigate different methods to incorporate multi-scale features and find that a Bi-directional Feature Pyramid (BiFPN) works best with DETR in further raising the detection precision. With this discovery, we propose DETR++, a new architecture that improves detection results by 1.9% AP on MS COCO 2017, 11.5% AP on RICO icon detection, and 9.1% AP on RICO layout extraction over existing baselines.

研究の動機と目的

• DETR が小サイズ物体検出において性能が低いのは、マルチスケール特徴統合が限られていることが原因であるため、その問題を解決すること。
• 自己注意の2次関数的複雑性やハンガリアンマッチングの3次関数的複雑性を回避する効率的なマルチスケール特徴統合戦略を調査すること。
• モデルの複雑性を著しく増加させずに、RICO アイコン検出やレイアウト抽出といった未開拓のベンチマークでも DETR の性能を向上させること。
• 特にデバイス内でのスクリーン理解タスクに適した、Transformerベースの検出器におけるマルチスケール特徴統合の最適アーキテクチャを同定すること。

提案手法

• 複数のバックボーン段階からの特徴を統合するため、双方向特徴ピラミッドネットワーク（BiFPN）を統合し、効果的なマルチスケール表現学習を可能にする。
• 元の DETR のエンコーダ・デコーダアーキテクチャを維持するが、BiFPN における学習可能で重み付け可能な特徴統合により特徴階層を強化する。
• Transformer エンコーダの手前に、バックボーンレベルで特徴ピラミッド統合を適用することで、エンコーダがより豊富なマルチスケール特徴を処理できるようにする。
• 入力サイズを 1280×1280 にリサイズし、パディングを施した上で、標準的なデータオーグメンテーション（ランダムな水平反転とクロップ）を適用し、DETR と一貫性を保つ。
• 位置埋め込みを備えた学習可能なオブジェクトクエリメカニズムとハンガリアンマッチングを用い、エンドツーエンドでのボックスおよびクラス予測を実現する。
• データセットの統計に基づいて、バックグラウンドクラスの重みやオブジェクトクエリの数といった重要なハイパーパramータを調整し、収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己注意の2次関数的複雑性を悪化させることなく、マルチスケール特徴を DETR アーキテクチャに統合する最も効果的な方法は何か？
• RQ2 BiFPN は、スタックド特徴、シフトドウインドウ、または特化したヘッドといった他のマルチスケール統合戦略と比較して、DETR の検出精度をどのように向上させるか？
• RQ3 BiFPN を統合した改良版 DETR アーキテクチャは、CenterNet や IconNet といった最先端モデルを、小サイズ物体検出ベンチマークで上回ることができるか？
• RQ4 BiFPN を用いたマルチスケール特徴統合は、アイコン検出やレイアウト抽出といった非標準的な検出タスクにおいて、顕著な性能向上をもたらすか？
• RQ5 BiFPN を統合した DETR++ は、ベースラインの DETR と比較して、トレーニングの効率性や収束速度をどの程度維持しているか？

主な発見

• DETR++ は、元の DETR と比較して MS COCO 2017 で 1.9% の AP の絶対的向上を達成し、標準ベンチマークにおける優れた一般化性能を示した。
• RICO アイコン検出データセットでは、DETR++ が既存のベースラインを 11.5% 上回る検出 AP を達成し、DETR や IconNet モデルを上回った。
• レイアウト抽出タスクでは、DETR++ がベースラインから 9.1% の AP 向上を達成し、機能的 UI 要素検出において優れた性能を示した。
• 改善にもかかわらず、特定のデータセットでは DETR++ は CenterNet や IconNet よりも小サイズ物体検出で性能が劣っており、さらなる最適化の余地があることを示唆している。
• 評価されたすべての手法の中で、BiFPN を用いた特徴統合戦略が最も効果的であり、シフトドウインドウ や特化したヘッドといった代替手法を著しく上回った。
• 計算量の増加はわずかであり、マルチスケール特徴統合に対しても、性能と複雑性の良好なトレードオフを維持している。