[論文レビュー] TOOD: Task-aligned One-stage Object Detection

Chengjian Feng, Yujie Zhong+3 more|arXiv (Cornell University)|Aug 17, 2021

Advanced Neural Network Applications参考文献 35被引用数 15

ひとこと要約

TOODは、タスクアライメントヘッド（T-ヘッド）とタスクアライメント学習（TAL）を用いて分類と局所化を明示的にアライメントする、1段階型オブジェクト検出器を提案する。MS-COCOで51.1 APを達成し、パrameter数とFLOPsを減らしながら、ATSS、GFL、PAAといった先行する1段階型検出器を大きく上回った。

ABSTRACT

One-stage object detection is commonly implemented by optimizing two sub-tasks: object classification and localization, using heads with two parallel branches, which might lead to a certain level of spatial misalignment in predictions between the two tasks. In this work, we propose a Task-aligned One-stage Object Detection (TOOD) that explicitly aligns the two tasks in a learning-based manner. First, we design a novel Task-aligned Head (T-Head) which offers a better balance between learning task-interactive and task-specific features, as well as a greater flexibility to learn the alignment via a task-aligned predictor. Second, we propose Task Alignment Learning (TAL) to explicitly pull closer (or even unify) the optimal anchors for the two tasks during training via a designed sample assignment scheme and a task-aligned loss. Extensive experiments are conducted on MS-COCO, where TOOD achieves a 51.1 AP at single-model single-scale testing. This surpasses the recent one-stage detectors by a large margin, such as ATSS (47.7 AP), GFL (48.2 AP), and PAA (49.0 AP), with fewer parameters and FLOPs. Qualitative results also demonstrate the effectiveness of TOOD for better aligning the tasks of object classification and localization. Code is available at https://github.com/fcjian/TOOD.

研究の動機と目的

• 分類と局所化の予測の間の空間的誤差アライメントを、並列で独立したヘッドによって引き起こす問題を解消する。
• 分類と局所化のための最適なアンカーが一貫しないタスクに依存しないサンプルアサインメントの制限を克服する。
• 新たな学習ベースのメカニズムにより、タスク間の相互作用とアライメントを強化することで検出性能を向上させる。
• 不要で誤ったバウンディングボックスの削減により、NMSとのより良い互換性を実現する。
• 従来の手法と比較して、最小限の計算コストと少ないパrameter数で最先端の性能を達成する。

提案手法

• タスク相互作用特徴を計算し、分類と局所化のタスク間の協力を強化するタスクアライメント予測器（TAP）を備えたタスクアライメントヘッド（T-ヘッド）を設計する。
• アンカーのアライメント指標に基づく新しいサンプルアサインメント方式を用いて、アライメントを促進するタスクアライメント学習（TAL）を導入する。
• 訓練中に分類と局所化の最適なアンカーを段階的に統一するタスクアライメント損失関数を開発する。
• アライメントのための空間的特徴適応を向上させるために、ヘッドタワーの最初の2層に可変畳み込み（DCN）を適用する。
• 分類と局所化が共有の相互作用特徴を用いて共同最適化されるマルチタスク学習フレームワークを採用する。
• サンプルアサインメントにおいてIoUベースおよび幾何学的指標を活用し、タスク間で一貫した正例選択を保証する。

実験結果

リサーチクエスチョン

• RQ1 分類と局所化の間の明示的なタスクアライメントは、1段階型オブジェクト検出性能の向上に寄与するか？
• RQ2 共有で相互作用的なヘッド構造は、分類と局所化の予測の間の空間的誤差アライメントを低減するか？
• RQ3 タスクアライメント損失とサンプルアサインメント方式により、訓練中に両タスクの最適なアンカーを統一できるか？
• RQ4 タスクアライメントはNMSの性能や、正例、重複、誤検出のバウンディングボックスのバランスにどのように影響するか？
• RQ5 TOODは、精度、パrameter効率、FLOPsの観点から、既存の1段階型検出器をどの程度上回るか？

主な発見

• MS-COCOで単一モデル・単一スケールテストにおいて、TOODは51.1 APを達成し、ATSS（47.7 AP）、GFL（48.2 AP）、PAA（49.0 AP）を大きく上回った。
• ResNeXt-101-64×4d-DCNを用いることで、TOODは51.1 APを達成し、ATSS（48.3 → 51.1 AP）で2.8 APの向上、GFL（49.0 → 51.1 AP）で2.0 APの向上を達成した。
• 分類と局所化の順位付けのピアソン積率相関係数（PCC）は、ベースラインの0.408からT-ヘッドとTALを導入した後の0.452に向上し、より良いアライメントが実現した。
• 上位10件の予測の平均IoUは、0.637から0.661に向上し、局所化の一貫性が向上した。
• NMSを適用した際、TOODはベースラインと比較して重複ボックスを4,186個、誤検出ボックスを23,668個削減し、正例ボックスを473個増加させた。
• TOODはNMSとの相性が優れており、より多くの正例検出を保持するとともに、誤検出と重複をより効果的に抑制した。