[論文レビュー] OneNet: Towards End-to-End One-Stage Object Detection.

Peize Sun, Yi Jiang+4 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 22被引用数 21

ひとこと要約

本稿では、分類コストと位置コストを組み合わせることで、非最大値抑制（NMS）を必要としないエンドツーエンドの1段階オブジェクト検出を可能にする、新しいラベル割り当て手法であるMinimum Cost Assignmentを提案する。各教師強化学習ラベルに対して、合計コストが最小となるサンプルのみを割り当てることで、重複する高信頼度ボックスを排除し、512×512の入力でCOCO上において80 FPSで35.0 AP、50 FPSで37.7 APを達成する。

ABSTRACT

End-to-end one-stage object detection trailed thus far. This paper discovers that the lack of classification cost between sample and ground-truth in label assignment is the main obstacle for one-stage detectors to remove Non-maximum Suppression(NMS) and reach end-to-end. Existing one-stage object detectors assign labels by only location cost, e.g. box IoU or point distance. Without classification cost, sole location cost leads to redundant boxes of high confidence scores in inference, making NMS necessary post-processing. To design an end-to-end one-stage object detector, we propose Minimum Cost Assignment. The cost is the summation of classification cost and location cost between sample and ground-truth. For each object ground-truth, only one sample of minimum cost is assigned as the positive sample; others are all negative samples. To evaluate the effectiveness of our method, we design an extremely simple one-stage detector named OneNet. Our results show that when trained with Minimum Cost Assignment, OneNet avoids producing duplicated boxes and achieves to end-to-end detector. On COCO dataset, OneNet achieves 35.0 AP/80 FPS and 37.7 AP/50 FPS with image size of 512 pixels. We hope OneNet could serve as an effective baseline for end-to-end one-stage object detection. The code is available at: \url{this https URL}.

研究の動機と目的

• NMSなしでエンドツーエンドの性能を達成できない1段階検出器の主な障壁である、ラベル割り当てにおける分類コストの欠如を解消すること。
• 既存の1段階検出器が位置コストに依存するのみであるために生じる、重複する高信頼度予測を排除すること。
• 分類コストと位置コストをラベル割り当てに統合することで、エンドツーエンド推論を可能にする、シンプルで効果的な1段階検出器（OneNet）を設計すること。
• 適切なコストベースのラベル割り当てにより、エンドツーエンドの1段階検出が実現可能であることを示し、今後の研究の新しい基準を確立すること。

提案手法

• サンプルと教師強化学習ラベル間のコストを分類コストと位置コストの和として定義するMinimum Cost Assignmentを提案する。
• 分類コスト（例：交差エントロピー）と位置コスト（例：IoU や ポイント間距離）を用いて、サンプル-教師強化学習ラベルペアを評価する。
• 各教師強化学習ラベルに対して、合計コストが最小となるサンプルのみを正例として割り当て、残りは負例としてラベル付けする。
• 提案されたラベル割り当て手法の評価を目的とした、極めてシンプルな1段階検出器アーキテクチャであるOneNetを導入する。
• アンカーレス設計を採用した標準的な1段階ヘッドを用い、学習段階ではコストベースの割り当てに依存する。
• コスト最小化により、1オブジェクトあたり1つの高品質な予測のみが得られるようにすることで、推論段階でNMSの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 NMSなしでエンドツーエンドの1段階オブジェクト検出を達成できるか、ラベル割り当ての改善によって？
• RQ2 ラベル割り当てに分類コストを組み込むことで、1段階検出器における重複する高信頼度予測が削減されるか？
• RQ3 OneNetのようなシンプルな検出器が、コストベースの割り当てによりNMSを排除しながらも、競争力のある精度を達成できるか？
• RQ4 ラベル割り当てにおける分類コストと位置コストの組み合わせが、検出性能と推論速度に与える影響は？
• RQ5 Minimum Cost Assignmentは、1段階検出器におけるエンドツーエンドの学習と推論を実現するのに十分か？

主な発見

• OneNetは、512×512の入力でCOCO上において80 FPSで35.0 AP、50 FPSで37.7 APを達成し、NMSなしで強力な性能を示した。
• 提案されたMinimum Cost Assignmentは、従来の1段階検出器でNMSを必要とする重複する高信頼度ボックスを効果的に排除した。
• 分類コストをラベル割り当てに統合することで、1オブジェクトあたり複数の予測による過信を回避し、エンドツーエンド推論を可能にした。
• この手法により、シンプルな検出器（OneNet）が推論速度においてエンドツーエンド1段階検出の最先端性能を達成できた。
• 結果から、ラベル割り当てにおける分類コストの欠如が、1段階検出器がNMSを必要とする主な要因であることが裏付けられ、その組み込みによりエンドツーエンド運用が可能になることが示された。
• コードは公開されており、今後のエンドツーエンド1段階オブジェクト検出分野の研究における強力な基準となる。