[論文レビュー] Detection Transformer with Stable Matching

Shilong Liu, Tianhe Ren+9 more|arXiv (Cornell University)|Apr 10, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

この論文は、トレーニング中に複数の矛盾する最適化経路が生じるため、DETRに類似したオブジェクト検出器で発生する不安定なマッチング問題に取り組む。分類スコアの予測に対して、位置情報の指標（例：IoU）のみを用いて監督することで、位置に依存する損失関数と位置に依存するコストを提案。ResNet-50を用いた1×および2×スケジュール下で、COCOでそれぞれ50.4および51.5のAPを達成し、SOTAを更新。Swin-Largeを用いた場合、63.8のAPを達成。

ABSTRACT

This paper is concerned with the matching stability problem across different decoder layers in DEtection TRansformers (DETR). We point out that the unstable matching in DETR is caused by a multi-optimization path problem, which is highlighted by the one-to-one matching design in DETR. To address this problem, we show that the most important design is to use and only use positional metrics (like IOU) to supervise classification scores of positive examples. Under the principle, we propose two simple yet effective modifications by integrating positional metrics to DETR's classification loss and matching cost, named position-supervised loss and position-modulated cost. We verify our methods on several DETR variants. Our methods show consistent improvements over baselines. By integrating our methods with DINO, we achieve 50.4 and 51.5 AP on the COCO detection benchmark using ResNet-50 backbones under 12 epochs and 24 epochs training settings, achieving a new record under the same setting. We achieve 63.8 AP on COCO detection test-dev with a Swin-Large backbone. Our code will be made available at https://github.com/IDEA-Research/Stable-DINO.

研究の動機と目的

• DETRに類似したモデルにおけるデコーダー層間での不安定なマッチング問題を特定・解決すること。
• 1対1のハンガリアンマッチングに起因する不安定性の根本的要因を、複数の最適化経路問題として同定すること。
• 分類の最適化を、位置情報の指標（例：IoU）にのみ依存させることで、一貫した最適化ターゲットを保証する原理的解決策を提案すること。
• バックボーンやアーキテクチャを大幅に変更せずに、DETRの変種におけるトレーニングの安定性と性能を向上させること。
• 複数のDETRの変種に対して本手法を検証し、COCOで新たなSOTA結果を達成すること。

提案手法

• 分類スコアの予測に対して、IoUスコアのみを用いて監督する位置に依存する損失関数を導入。これにより、矛盾する最適化経路が排除される。
• IoUに基づいてマッチングコストを再重み付けする位置に依存するコストを設計。これにより、重複率の高い予測がバイパライトマッチングで優先される。
• 分類の最適化を、位置情報の指標にのみ依存させるという原則を適用。これにより、各アノテーションに対して一意で安定した最適化経路が保証される。
• DINOなどの既存のDETR変種に、新しい損失関数とコストを最小限のアーキテクチャ変更で統合。
• 密なメモリ統合を用いて、エンコーダーとバックボーン特徴量間の特徴量相互作用を強化。
• 標準的なトレーニングスケジュールに従い、エンドツーエンドでモデルを学習。COCO検出ベンチマークで評価。

実験結果

リサーチクエスチョン

• RQ1 DETRに類似したモデルにおけるデコーダー層間での不安定なマッチングの原因は何か？
• RQ2 DETRにおける1対1マッチング戦略が、なぜ矛盾する最適化経路を引き起こすのか？
• RQ3 位置情報の指標にのみ依存する監視を適用することで、トレーニングプロセスが安定化し、性能が向上するか？
• RQ4 Focal Loss やタスクに整合した損失関数といった既存の損失設計と比較して、本手法はDETR環境でどのように性能を発揮するか？
• RQ5 本手法は、異なるバックボーンアーキテクチャやトレーニングスケジュールにおいて、どの程度性能を向上させられるか？

主な発見

• 提案された位置に依存する損失関数と位置に依存するコストにより、1×トレーニング（12エポック）下でResNet-50を用いたCOCOで50.4のAPを達成。これは新たなSOTAである。
• 2×トレーニング（24エポック）下で、同じ設定でResNet-50を用いたCOCOで51.5のAPを達成。これも同様に新たなSOTAである。
• Swin-Largeバックボーンを用いた場合、COCO test-devで63.8のAPを達成。汎用性の高さが裏付けられた。
• アブレーションスタディの結果、分類の監視にIoUのみを用いることでトレーニングが安定化し、性能が向上することが確認された。一方、他の損失設計では結果が劣化した。
• 本手法は複数のDETR変種に有効であり、計算オーバーヘッドは最小限に抑えられる。
• 密なメモリ統合コンponentは、特徴表現をさらに強化し、性能向上に寄与している。