[論文レビュー] LapNet : Automatic Balanced Loss and Optimal Assignment for Real-Time Dense Object Detection

Florian Chabot, Pham, Quoc-Cuong+1 more|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 33被引用数 8

ひとこと要約

LapNet は、各オブジェクトごとに正規化されたオーバーラップ（PONO）を導入することでアンカー割り当てのロバスト性を高めるとともに、重複するオブジェクトの衝突を解消するためのアンビビュイティ管理戦略（AMS）を採用したリアルタイム単段階オブジェクト検出器であり、精度と学習安定性の両方を向上させる。COOCCO において、同じ DarkNet-53 バックボーンと同等の推論速度で YOLOv3 よりも 4.6 mAP 高い 37.6 対 33.0 を達成し、リアルタイム検出器における最先端の性能を実現している。

ABSTRACT

Real-time single-stage object detectors based on deep learning still remain less accurate than more complex ones. The trade-off between model performance and computational speed is a major challenge. In this paper, we propose a new way to efficiently learn a single-shot detector which offers a very good compromise between these two objectives. To this end, we introduce LapNet, an anchor based detector, trained end-to-end without any sampling strategy. Our approach aims to overcome two important problems encountered in training an anchor based detector: (1) ambiguity in the assignment of anchor to ground truth and (2) class and object size imbalance. To address the first limitation, we propose a soft positive/negative anchor assignment procedure based on a new overlapping function called "Per-Object Normalized Overlap" (PONO). This soft assignment can be self-corrected by the network itself to avoid ambiguity between close objects. To cope with the second limitation, we propose to learn additional weights, that are not used at inference, to efficiently manage sample imbalance. These two contributions make the detector learning more generic whatever the training dataset. Various experiments show the effectiveness of the proposed approach.

研究の動機と目的

• アンカーベースのオブジェクト検出器の限界、特に曖昧な正例／負例のラベル割り当てとクラス／オブジェクトサイズの不均衡を解決すること。
• 手動のサンプリングヒューリスティクスを排除し、固定された IoU サブセットに依存しない学習戦略を開発すること。
• サンプリング戦略を一切用いずにエンドツーエンド学習を可能にするとともに、リアルタイム推論速度を維持すること。
• 密なオブジェクト検出シーンにおける小形・重度に隠蔽されたオブジェクトの検出精度を向上させること。
• 計算コストを増加させることなく、クラスの代表性とオブジェクトサイズを考慮した汎用的で自動的な損失バランス化メカニズムを構築すること。

提案手法

• 各グランドトゥルースが少なくとも1つのアンカーに対して PONO 値が 1 になるように正規化されたオーバーラップメトリックである Per-Object Normalized Overlap (PONO) を導入し、アンカーの離散化に対するロバスト性を向上させる。
• トレーニング中に複数のオブジェクトとオーバーラップする曖昧なアンカーを動的に負例ラベルに再割り当てするオンラインのアンビビュイティ管理戦略（AMS）を提案し、モデルの混乱を防ぐ。
• 追加の推論コストを増加させることなく、前景／背景、クラス、オブジェクトサイズの不均衡をバランスさせる、自動的かつ学習可能な損失重み付けメカニズムを設計する。
• サンプリング戦略を一切用いずにエンドツーエンドで学習可能なエンコーダ・デコーダ型 CNN アーキテクチャを採用し、各アンカーのクラス確率とボックスオフセットを直接予測する。
• PONO スコアに基づくソフト割り当てメカニズムを採用し、曖昧または低オーバーラップのアンカーに対しても勾配の流れを可能にする。
• 適応的重みを備えた変更版フォーカル損失を適用し、容易な負例を軽減するとともに、異なるオブジェクトサイズとクラス頻度にわたるハード例のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 PONO のような正規化されたオーバーラップメトリックは、特に小形または重複するオブジェクトに対して、アンカー割り当てのロバスト性を向上させることができるか？
• RQ2 オンラインでアンビビュイティを解消する戦略（AMS）は、アンカーが複数のグランドトゥルースとオーバーラップする状況において、モデルの一般化性能を向上させるか？
• RQ3 自動的かつ学習可能な損失重み付けは、手動のハイパーパramータチューニングやサンプリングヒューリスティクスなしに、クラスとオブジェクトサイズの不均衡を効果的にバランスさせることができるか？
• RQ4 単段階検出器がリアルタイム推論速度を維持しつつ、どの程度最先端の精度に到達できるか？
• RQ5 提案されたトレーニング戦略は、再トレーニングやアーキテクチャ変更なしに、さまざまなデータセットやバックボーンアーキテクチャに一般化可能か？

主な発見

• LapNet は、608×608 入力解像度で COCO test-dev 2017 で 37.6 mAP を達成し、同じ DarkNet-53 バックボーンと同等の推論速度で YOLOv3（33.0 mAP）を上回った。
• 512×512 解像度では、LapNet は 37.6 mAP を達成し、RetinaNet-500（32.5 mAP）を上回り、FCOS-800（41.0 mAP）よりも 2.5 倍速い。
• LapNet は、より軽量なバックボーンと小さな入力サイズを用いても、RetinaNet-500 よりも 3.2 mAP、FCOS-800 よりも 2.8 mAP 高い性能を発揮した。
• 提案された PONO および AMS メカニズムは、小形および重複するオブジェクトに対して、誤検出および曖昧な予測を顕著に低減した。
• 自動損失重み付けメカニズムは、クラスおよびサイズの不均衡を効果的にバランスさせ、サンプリング戦略なしに安定的かつ正確な学習を可能にした。
• LapNet は、COCO におけるリアルタイム単段階検出器の最先端性能を新たに確立し、高い精度と高速性を同時に達成可能であることを示した。