[論文レビュー] Unbalanced Optimal Transport: A Unified Framework for Object Detection

Henri De Plaen, Pierre-François De Plaen+4 more|arXiv (Cornell University)|Jul 5, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、近傍探索、ハンガリアンマッチング、1対多マッチングといった従来の戦略を統合する統一フレームワークとして、非平衡最適輸送（UOT）を提案する。学習可能な制約とエントロピー正則化を導入することで、SOTAのAPおよびARを達成するとともに、COCOおよび合成的なColor Boxesデータセットにおいて高速かつ安定した学習が可能となり、GPU上で高度に並列化可能である。

ABSTRACT

During training, supervised object detection tries to correctly match the predicted bounding boxes and associated classification scores to the ground truth. This is essential to determine which predictions are to be pushed towards which solutions, or to be discarded. Popular matching strategies include matching to the closest ground truth box (mostly used in combination with anchors), or matching via the Hungarian algorithm (mostly used in anchor-free methods). Each of these strategies comes with its own properties, underlying losses, and heuristics. We show how Unbalanced Optimal Transport unifies these different approaches and opens a whole continuum of methods in between. This allows for a finer selection of the desired properties. Experimentally, we show that training an object detection model with Unbalanced Optimal Transport is able to reach the state-of-the-art both in terms of Average Precision and Average Recall as well as to provide a faster initial convergence. The approach is well suited for GPU implementation, which proves to be an advantage for large-scale models.

研究の動機と目的

• 近傍探索、ハンガリアンマッチング、1対多マッチングといった多様なオブジェクト検出マッチング戦略を、1つの整合的で一貫したフレームワークに統合すること。
• 冗長性、一意でない解、収束が遅い、GPU並列化が不十分といった従来手法の限界を是正すること。
• 予測と正例の質量に調整可能な制約を導入することで、マッチング行動の細かいつまみの制御を可能にすること。
• UOT定式化における正則化を活用し、学習収束速度と最終的な性能を向上させること。
• 大規模オブジェクト検出モデル向けにスケーラブルでGPUフレンドリーなUOTの実装を提供すること。

提案手法

• オブジェクト検出のマッチングを、正則化された輸送コストを最小化することで得られる非平衡最適輸送（UOT）問題として定式化する。
• 2つの主要な制約を導入する：予測の質量制約（τ₁で制御）と正例の質量制約（τ₂で制御）であり、これにより異なるマッチングレジームを連続的に補間可能となる。
• エントロピー正則化（ε）を用いて、高速で微分可能かつGPU並列化可能なSinkhorn反復を実現する。
• 予測と正例ボックス間のコスト行列に1 - GIoUを用い、バックグラウンドコスト（c∅）を0.8に設定する。
• 訓練パイプラインに、手動で設計されたマッチングヒューリスティクスに代わる微分可能なマッチングレイヤーとしてUOTの解を適用する。
• 実際には収束が速いため、10〜20回程度の固定回数のSinkhorn反復を用いる。

(a) Image №163 from the VOC training dataset. The ground truth boxes are colored, and the predictions are outlined in black.

実験結果

リサーチクエスチョン

• RQ1 非平衡最適輸送は、多様なオブジェクト検出マッチング戦略を1つの連続的フレームワークに統合できるか？
• RQ2 ハイパーパrameter τ₁（予測質量制約）とτ₂（正例質量制約）は、マッチング行動とモデル性能にどのように影響するか？
• RQ3 UOTは、標準的なマッチングベースラインと比較して、学習収束速度と最終的な検出精度を向上させるか？
• RQ4 UOTは大規模オブジェクト検出器における学習を高速化するために、GPU上で効率的に実装可能か？
• RQ5 エントロピー正則化とSinkhorn反復回数の影響は、最終的な検出指標にどのように現れるか？

主な発見

• UOTはCOCOデータセットでSOTAの平均適合率（AP）と平均再現率（AR）を達成し、標準ベースラインを上回った。
• Color Boxesデータセットでは、τ₁ = 10およびτ₂ = 0.01のUOTが、NMSありで47.8 APと63.8 AR、NMSなしで45.0 APと72.6 ARを達成した。
• バランスの取れたUOTケース（τ₁ → ∞）が最高の性能を示し、48.1 APと64.3 ARを達成した。これは、バランスの取れた質量制約が精度向上に寄与することを示している。
• DETRベースのモデルにおいて、UOTを用いた学習はハンガリアンマッチングと比較して初期収束が著しく速かった。
• Sinkhorn反復回数は10回を過ぎると効果が著しく低下し、10〜20回程度で性能が飽和した。
• GPUベースのUOTは、SSD300においてハンガリアンマッチングと比較して学習時間を約50％短縮し、マッチング時間は18.3msから1.5msにまで短縮された。

(b) Costs between the predictions and the ground truth ( $1-\mathrm{GIoU}$ ). The background cost is $c_{\varnothing}=0.8$ .