[論文レビュー] OTA: Optimal Transport Assignment for Object Detection

Zheng Ge, Songtao Liu+3 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications参考文献 52被引用数 7

ひとこと要約

本稿では、オブジェクト検出におけるグローバルラベル割り当て手法として、最適輸送割り当て（OTA）を提案する。OTAは、正例・負例アノテーションの割り当てを最適輸送問題として定式化し、分類損失と回帰損失の合計を最小化する。各正例をラベルの供給者としてモデル化し、Sinkhorn-Knopp反復法を用いて最適輸送計画を解くことで、SOTA性能を達成し、COCOでは40.7% mAP、CrowdHumanでは46.6% MRを達成した。特に混雑した状況下での性能向上が顕著である。

ABSTRACT

Recent advances in label assignment in object detection mainly seek to independently define positive/negative training samples for each ground-truth (gt) object. In this paper, we innovatively revisit the label assignment from a global perspective and propose to formulate the assigning procedure as an Optimal Transport (OT) problem -- a well-studied topic in Optimization Theory. Concretely, we define the unit transportation cost between each demander (anchor) and supplier (gt) pair as the weighted summation of their classification and regression losses. After formulation, finding the best assignment solution is converted to solve the optimal transport plan at minimal transportation costs, which can be solved via Sinkhorn-Knopp Iteration. On COCO, a single FCOS-ResNet-50 detector equipped with Optimal Transport Assignment (OTA) can reach 40.7% mAP under 1X scheduler, outperforming all other existing assigning methods. Extensive experiments conducted on COCO and CrowdHuman further validate the effectiveness of our proposed OTA, especially its superiority in crowd scenarios. The code is available at https://github.com/Megvii-BaseDetection/OTA.

研究の動機と目的

• 局所的でルールベースのラベル割り当ての性能が不十分である問題、特に複数の正例オブジェクトに共有される曖昧なアノテーションに対して、これを解決すること。
• 各正例オブジェクトごとに独立して正例／負例を割り当てる手法の限界を克服し、グローバル最適化フレームワークを導入すること。
• 最適輸送理論を活用してラベル割り当てを統合的に最適化することで、訓練効率と検出精度（特に混雑したシーン）を向上させること。
• Max IoU や Min Area といったヒューリスティックな割り当てルールに代わる、原理的で微分可能かつグローバルに最適な代替手法を提供すること。

提案手法

• 各正例オブジェクトと背景がラベルの供給者であり、各アノテーションが1つのラベルを必要とする需要者である最適輸送（OT）問題としてラベル割り当てを定式化する。
• アノテーションと正例オブジェクト間の単位輸送コストを、分類損失と回帰損失の重み付き和として定義する。
• アノテーションと背景間のコストを、分類損失そのものとして定義し、負例ラベル割り当てをモデル化する。
• 各正例が供給すべき正例ラベルの数を、予測ボックスと正例ボックス間のIoUに基づいて推定する。
• 効率的かつ微分可能な最適輸送計画の計算のために、結果得られるOT問題をSinkhorn-Knoppアルゴリズムで解く。
• 学習された輸送計画を訓練プロセスに統合し、すべてのアノテーションと正例オブジェクト全体の合計損失を最小化するグローバルなラベル割り当てを実現する。

実験結果

リサーチクエスチョン

• RQ1 個々のオブジェクトごとのルールベース戦略に比べ、グローバル最適化フレームワークがラベル割り当ての性能を向上させられるか？
• RQ2 複数の正例オブジェクトの候補となる曖昧なアノテーションは、最適輸送割り当てでどのように処理されるか？
• RQ3 グローバルに最適なラベル割り当て戦略は、特に混雑または隠蔽状態のシナリオにおいて、より良い一般化性能をもたらすか？
• RQ4 OTベースの割り当て手法は、ATSS や PAA といった既存の動的ラベル割り当て手法を、標準ベンチマークで上回れるか？

主な発見

• 1×スケジューラーを用いた単一の FCOS-ResNet-50 ディテクタで、MS COCO で 40.7% mAP を達成し、既存のすべての割り当て手法を上回った。
• COCO テストデブセットでは、2.5×スケジューラーを用いた ResNeXt-64x4d-101-DCN で 51.5% mAP を達成し、1段階検出器における新記録を樹立した。
• 混雑した CrowdHuman データセットでは、46.6% MR を達成し、従来の1段階検出器を顕著に上回り、2段階検出器の性能に近づいた。
• CrowdHuman では、AP とリCALL がそれぞれ 88.4% と 95.1% に向上し、高隠蔽状態でも優れた一般化性能を示した。
• PAA や ATSS よりも CrowdHuman で優れた性能を示したが、PAA は明確な正例／負例の境界が欠如するため、困難を示した。
• OTによるグローバル最適化により、曖昧なアノテーションに起因する有害な勾配が効果的に抑制され、より安定で正確な学習が実現した。