[論文レビュー] DEYOv2: Rank Feature with Greedy Matching for End-to-End Object Detection

Haodong Ouyang|arXiv (Cornell University)|Jun 15, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

DEYOv2 は、ランク特徴量とグリーディマッチングを導入することで NMS 依存を排除した、完全なエンドツーエンドオブジェクト検出器である。3段階の段階的最適化により、効率的でプログレッシブな最適化が可能となり、ResNet-50 を用いた COCO において 12 及び 24 エポックでそれぞれ 51.1 AP および 51.8 AP を達成し、同じ設定下で DINO を 2.1 及び 1.4 AP それぞれ上回った。

ABSTRACT

This paper presents a novel object detector called DEYOv2, an improved version of the first-generation DEYO (DETR with YOLO) model. DEYOv2, similar to its predecessor, DEYOv2 employs a progressive reasoning approach to accelerate model training and enhance performance. The study delves into the limitations of one-to-one matching in optimization and proposes solutions to effectively address the issue, such as Rank Feature and Greedy Matching. This approach enables the third stage of DEYOv2 to maximize information acquisition from the first and second stages without needing NMS, achieving end-to-end optimization. By combining dense queries, sparse queries, one-to-many matching, and one-to-one matching, DEYOv2 leverages the advantages of each method. It outperforms all existing query-based end-to-end detectors under the same settings. When using ResNet-50 as the backbone and multi-scale features on the COCO dataset, DEYOv2 achieves 51.1 AP and 51.8 AP in 12 and 24 epochs, respectively. Compared to the end-to-end model DINO, DEYOv2 provides significant performance gains of 2.1 AP and 1.4 AP in the two epoch settings. To the best of our knowledge, DEYOv2 is the first fully end-to-end object detector that combines the respective strengths of classical detectors and query-based detectors.

研究の動機と目的

• エンドツーエンドオブジェクト検出における非最大抑制（NMS）への依存を排除し、学習安定性とエンドツーエンド最適化を向上させること。
• クエリベース検出器における 1 対 1 のラベル割り当てが、密集した重複する提案に対して一般化性能が低く、学習が不安定になる問題を解決すること。
• 古典的検出器（例：YOLO）とクエリベース検出器（例：DETR）の長所を統合的に統合した、一元化されたエンドツーエンドフレームワークを構築すること。
• 段階的推論パイプラインを導入し、各段階間での情報蒸留を実現することで、学習収束性とパフォーマンスを向上させること。

提案手法

• 3 段階の検出パイプラインを導入：段階 1 は YOLO に類似したヘッドの予測から高品質な高密度クエリを生成する。
• 段階 2 はグリーディマッチングを用い、提案同士のスコア差を明確にすることで、NMS なしに冗長なボックスを効果的にフィルタリングする。
• 段階 3 はランク特徴量を用いて特徴表現を強化し、初期段階からの情報フローを最大化することで、エンドツーエンド最適化を可能にする。
• 高密度クエリ（段階 1）、スパースクエリ（段階 3）、1 対多のマッチングを統合したハイブリッドクエリ戦略を採用し、耐性と正確性を向上させる。
• 全段階に共通のバックボーンを採用することで、特徴の一貫性を維持し、効率性を向上させる。
• 最終段階ではハンガリアン損失と 1 対 1 マッチングを用いるが、NMS を回避するため、事前に段階でクエリのフィルタリングとスコアの分離を実現している。

実験結果

リサーチクエスチョン

• RQ1 NMS 依存を完全に排除したエンドツーエンド検出器を設計可能か？ また、性能を維持または向上できるか？
• RQ2 トランスフォーマー基盤の検出器における 1 対 1 ラベル割り当ては、密集した重複する提案に直面した場合に、どのように安定化できるか？
• RQ3 古典的検出器（例：YOLO）とクエリベース検出器（例：DETR）の長所を、1 つの統合フレームワークで効果的に統合できるか？
• RQ4 後処理や NMS を用いずに、段階間での情報蒸留をどのように実現できるか？
• RQ5 グリーディマッチングとランク特徴量は、エンドツーエンド検出における学習安定性と最終的な検出正確性をどのように向上させるか？

主な発見

• DEYOv2 は、同じ設定下で ResNet-50 を用い、12 エポックと 24 エポックでそれぞれ COCO で 51.1 AP および 51.8 AP を達成した。
• 12 エポックおよび 24 エポックの設定下で、DINO をそれぞれ 2.1 AP 及び 1.4 AP 上回り、収束性とパフォーマンスの優位性を示した。
• NMS の必要性を完全に排除し、エンドツーエンド最適化の性質を保ち、後処理による情報損失を回避した。
• アブレーションスタディにより、ランク特徴量とグリーディマッチングが、特に高い提案密度下で学習安定性とパフォーマンスを顕著に向上させることを確認した。
• 3 段階パイプラインは、高密度クエリからスパースクエリへの情報伝達を効果的に実現し、中間フィルタリングなしに高品質な検出を可能にした。
• 本モデルは、NMS などの手作業で設計されたコンponents に依存せずに、古典的検出器とクエリベース検出器の長所を統合した、最初の完全なエンドツーエンド検出器である。