[論文レビュー] Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale Feature Fusion

Gongjie Zhang, Zhipeng Luo+3 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿では、共通の埋め込み空間への投影を通じてオブジェクトクエリとエンコード済み画像特徴の意味的整合性を高めることで、DETRの収束速度と検出精度を向上させる、プラグアンドプレイ型モジュールであるSAM-DETR++を提案する。より正確なマッチングと粗くから細かくまでのマルチスケール特徴統合を可能にすることで、SAM-DETR++はCOCOで12エポックの訓練のみで44.8%のAPを達成し、収束が著しく速くなり、Faster R-CNNを上回る性能を発揮する。

ABSTRACT

The recently proposed DEtection TRansformer (DETR) has established a fully end-to-end paradigm for object detection. However, DETR suffers from slow training convergence, which hinders its applicability to various detection tasks. We observe that DETR's slow convergence is largely attributed to the difficulty in matching object queries to relevant regions due to the unaligned semantics between object queries and encoded image features. With this observation, we design Semantic-Aligned-Matching DETR++ (SAM-DETR++) to accelerate DETR's convergence and improve detection performance. The core of SAM-DETR++ is a plug-and-play module that projects object queries and encoded image features into the same feature embedding space, where each object query can be easily matched to relevant regions with similar semantics. Besides, SAM-DETR++ searches for multiple representative keypoints and exploits their features for semantic-aligned matching with enhanced representation capacity. Furthermore, SAM-DETR++ can effectively fuse multi-scale features in a coarse-to-fine manner on the basis of the designed semantic-aligned matching. Extensive experiments show that the proposed SAM-DETR++ achieves superior convergence speed and competitive detection accuracy. Additionally, as a plug-and-play method, SAM-DETR++ can complement existing DETR convergence solutions with even better performance, achieving 44.8% AP with merely 12 training epochs and 49.1% AP with 50 training epochs on COCO val2017 with ResNet-50. Codes are available at https://github.com/ZhangGongjie/SAM-DETR .

研究の動機と目的

• オブジェクトクエリと画像特徴の間の意味的不整合が原因で生じるDETRの収束が遅いという問題に取り組む。
• 両者を共通の意味的埋め込み空間に投影することで、オブジェクトクエリと関連する画像領域間のマッチング精度を向上させる。
• 意味的整合マッチングに基づいて、粗くから細かくまでの効率的なマルチスケール特徴統合を可能にする。
• 既存のDETR収束ソリューションとシームレスに統合できるプラグアンドプレイ型モジュールを開発する。
• 意味的整合性が、検出性能を損なわず収束を顕著に加速できることを示す。

提案手法

• オブジェクトクエリと画像特徴を共通の意味的埋め込み空間に投影することで意味的整合マッチングを可能にする、プラグアンドプレイ型モジュールを導入する。
• 軽量なネットワークを用いて、複数の代表的で判別力の高いキーポイントを特定・抽出し、マッチングを向上させる。
• 整合された意味的空間を活用してデコーダー内のクロスアテンションモジュールを制御し、マッチングのあいまいさを低減し、特徴の蒸留を向上させる。
• 意味的整合性を活用することで、階層的な特徴統合に基づいた粗くから細かくまでのマルチスケール特徴統合を実現する。
• データセットに依存せず良好に一般化する学習可能なリファレンスボックス初期化を採用し、ランダムまたは固定初期化でも有効である。
• 意味的整合モジュールをSMCAやノイズ除去学習といった既存の収束技術と組み合わせることで、相乗効果による性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトクエリと画像特徴の間の意味的整合性が、マッチングの難易度を低下させ、DETRの収束を速くできるか？
• RQ2 意味的整合性は、DETRのデコーダーにおけるクロスアテンションの性能と安定性にどのように影響するか？
• RQ3 提案されたモジュールは、既存のDETR収束ソリューションと効果的に組み合わせられ、さらに訓練速度と精度を向上できるか？
• RQ4 代表的キーポイントの使用が、プラグアンドプレイ形式でマッチング精度と検出性能を向上できるか？
• RQ5 学習されたリファレンスボックス初期化は、オブジェクト分布が異なるさまざまなデータセットに対してどれほど頑健か？

主な発見

• SAM-DETR++ は、ResNet-50を用いてCOCOのval 2017で12エポックの訓練のみで44.8%のAPを達成し、速度と精度の両面でFaster R-CNNを上回る。
• 50エポックの訓練を経て、SAM-DETR++ はCOCOで49.1%のAPに達し、Transformerベースの検出器の中で最先端の性能を示す。
• モデルはデータセット間で強い一般化性能を維持する：ランダムに初期化されたリファレンスボックスでさえ、Pascal VOCで79.3%のmAPを達成する。
• 意味的整合モジュールにより、効果的な粗くから細かくまでのマルチスケール特徴統合が可能になり、特徴表現能力が向上する。
• プラグアンドプレイ設計により、SMCA-DETR や DN-DETR といった既存の収束手法ともシームレスに統合でき、さらなる性能向上が得られる。
• 本手法はDETRの訓練収束時間を顕著に短縮し、Transformerベースの検出器がConvNetベースのものと同等の訓練効率を達成できるようにする。