[論文レビュー] DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection

Yiqun Chen, Qiang Chen+2 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文は、1対1のアサインメントに基づくエンドツーエンド検出器の収束を高速化するために、追加の監視信号を提供する1対多のアサインメントブランチを共同で学習するDATE（Dual Assignment for End-to-End Fully Convolutional Object Detection）を提案する。この手法は、わずかなトレーニングオーバーヘッドと推論コストなしに、より速い収束と競争力のある性能を達成しており、36エポックでFCOS（39.8 AP）を上回る40.6 APを達成している。

ABSTRACT

Fully convolutional detectors discard the one-to-many assignment and adopt a one-to-one assigning strategy to achieve end-to-end detection but suffer from the slow convergence issue. In this paper, we revisit these two assignment methods and find that bringing one-to-many assignment back to end-to-end fully convolutional detectors helps with model convergence. Based on this observation, we propose {\em extbf{D}ual extbf{A}ssignment} for end-to-end fully convolutional de extbf{TE}ction (DATE). Our method constructs two branches with one-to-many and one-to-one assignment during training and speeds up the convergence of the one-to-one assignment branch by providing more supervision signals. DATE only uses the branch with the one-to-one matching strategy for model inference, which doesn't bring inference overhead. Experimental results show that Dual Assignment gives nontrivial improvements and speeds up model convergence upon OneNet and DeFCN. Code: https://github.com/YiqunChen1999/date.

研究の動機と目的

• 1対1のアサインメントを使用するエンドツーエンドの完全畳み込み検出器の収束が遅い問題に対処する。これは、正例の数が少なく、監視信号が弱いためである。
• 推論時にNMSフリーの性質を損なわずに、トレーニング中に1対多のアサインメントを再導入し、監視信号を強化する。
• 推論時に1対1のアサインメントブランチのみを保持する軽量な二重ブランチトレーニング戦略を開発し、実行時オーバーヘッドを一切発生させない。
• 同じトレーニング設定下で、NMSベースの検出器（例：FCOS）と同等またはそれ以上の性能を達成する。
• 提案手法がネットワークアーキテクチャとは直交しており、さまざまなバックボーン設計と互換性を持つことを示す。

提案手法

• 1対多のアサインメント（監視用）と1対1のアサインメント（最終推論用）の2つの並列ブランチをトレーニングする。
• 1対多ブランチを用いて、分類および回帰の追加の監視信号を提供し、特徴抽出器の学習を向上させる。
• 1対多ブランチを、FCOSに基づいて2〜3層の畳み込み層のみで構築し、追加のパラメータとFLOPsを最小限に抑える。
• トレーニング後、1対多ブランチを破棄し、推論には1対1アサインメントブランチのみを用いることで、エンドツーエンドかつNMSフリーの検出を維持する。
• 1対多ブランチの監視強度をハイパーパrameter λo2m を用いてスケーリング可能な重み付き損失スキームを適用する。
• （任意）サブネットワークを分離（例：RetinaNetスタイルのブランチ）することで、わずかにトレーニングコストを増加させつつ、精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に1対多のアサインメントを再導入することで、1対1アサインメントに基づくエンドツーエンド検出器の収束速度が向上するか？
• RQ2 1対多アサインメントからの追加の監視信号は、推論コストを増加させることなく、より良い性能をもたらすか？
• RQ3 二重ブランチトレーニング戦略は、標準の1対1または1対多ベースラインと比較して、最終的な検出精度にどのような影響を与えるか？
• RQ4 2つのブランチ間でバックボーンサブネットワークを共有するかしないかが、性能と計算コストに与える影響は何か？
• RQ5 同じトレーニング設定下で、提案手法はFCOSのようなNMSベースの検出器と同等またはそれ以上の性能を達成できるか？

主な発見

• DATEは12エポックで37.3 APを達成し、FCOS（37.2 AP）とOneNet（35.4 AP）を上回り、1対1アサインメントでも速い収束を実証した。
• 36エポック後、DATEは40.6 APに達し、FCOS（39.8 AP）を上回り、長時間のトレーニングでも持続的な改善を示した。
• 1対多ブランチは1対1ブランチの最終予測に影響を与えない：NMSなしで37.3 AP、NMSありで37.4 APを維持しており、NMSフリー推論が保たれていることを確認した。
• 1対多ブランチの追加により、パラメータは0.2M（0.625%）増加、FLOPsは4 GFLOPs（1.99%）増加に留まり、トレーニングコストはほとんど無視できる。
• バックボーンサブネットワークを共有しないRetinaNetスタイルの1対多ブランチを採用すると、APは37.6に上昇するが、追加パラメータが4.7M（14%増加）とFLOPsが42%増加する。
• 品質測定に頼らずに一貫した向上を示す：POTOをDETRのコスト関数に代えることで、ベースラインOneNetのAPは36.1から37.3に向上し、さまざまな指標でも一貫した改善が確認された。