[論文レビュー] RFLA: Gaussian Receptive Field based Label Assignment for Tiny Object Detection

Chang Xu, Jinwang Wang+4 more|arXiv (Cornell University)|Aug 18, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

本論文は、従来のアンカーまたはポイントプライアをガウス分布に従う受容 field プライアに置き換えることで、微小オブジェクト検出に適したガウス受容 field 基盤ラベル割り当て手法 RFLA を提案する。特徴の受容 field と正例ボックスの類似性を測るための受容 field 距離 (RFD) を導入し、階層的ラベル割り当て (HLA) 戦略を用いることで、バランスの取れた学習が実現され、検出精度が向上し、AI-TOD データセットにおいて最先端手法を 4.0 AP ポイント上回る。

ABSTRACT

Detecting tiny objects is one of the main obstacles hindering the development of object detection. The performance of generic object detectors tends to drastically deteriorate on tiny object detection tasks. In this paper, we point out that either box prior in the anchor-based detector or point prior in the anchor-free detector is sub-optimal for tiny objects. Our key observation is that the current anchor-based or anchor-free label assignment paradigms will incur many outlier tiny-sized ground truth samples, leading to detectors imposing less focus on the tiny objects. To this end, we propose a Gaussian Receptive Field based Label Assignment (RFLA) strategy for tiny object detection. Specifically, RFLA first utilizes the prior information that the feature receptive field follows Gaussian distribution. Then, instead of assigning samples with IoU or center sampling strategy, a new Receptive Field Distance (RFD) is proposed to directly measure the similarity between the Gaussian receptive field and ground truth. Considering that the IoU-threshold based and center sampling strategy are skewed to large objects, we further design a Hierarchical Label Assignment (HLA) module based on RFD to achieve balanced learning for tiny objects. Extensive experiments on four datasets demonstrate the effectiveness of the proposed methods. Especially, our approach outperforms the state-of-the-art competitors with 4.0 AP points on the AI-TOD dataset. Codes are available at https://github.com/Chasel-Tsui/mmdet-rfla

研究の動機と目的

• 微小オブジェクトに対する一般化オブジェクト検出器の性能が低い原因である不適切なラベル割り当てを是正すること。
• ボックスおよびポイントプライアがスケール-サンプルの不均衡を引き起こし、微小オブジェクトに対して十分な正例が得られないことの特定。
• 特徴の真の有効受容 field に適合するように、ガウス分布に従う受容 field を基盤とする新しいラベル割り当て戦略の提案。
• IoU やセンターベースの類似性測定に代わる、より正確な類似性測定を可能にする受容 field 距離 (RFD) メトリックの設計。
• RFD に基づくサンプリングにより、オブジェクトスケール全体にわたるバランスの取れた学習を実現する階層的ラベル割り当て (HLA) モジュールの構築。

提案手法

• 特徴点の有効受容 field (ERF) をガウス分布としてモデル化し、その空間的感度の真の性質を反映する。
• IoU やセンター採択に代わる、ガウス分布に従う ERF と正例ボックスの類似性を測る新しい類似性メトリックである受容 field 距離 (RFD) を導入する。
• RFD はガウス分布に従う ERF と正例ボックスの重複度と空間的整合性に基づいて計算され、IoU が 0 であっても正確な割り当てが可能になる。
• RFD に基づくサンプリングにより微小オブジェクトを優先することで、オブジェクトスケール全体にわたる学習のバランスを取るための階層的ラベル割り当て (HLA) モジュールを設計する。
• アーキテクチャの変更なしに、アンカーに基づく (例：Faster R-CNN) やアンカーフリー (例：FCOS) ディテクタに統合可能である。
• 4 つのデータセット（AI-TOD、VisDrone2019、DOTA-v2.0、TinyPerson）で評価され、すべてのデータセットで一貫した性能向上が得られた。

実験結果

リサーチクエスチョン

• RQ1 なぜアンカーに基づくおよびアンカーフリーの検出器は微小オブジェクトを効果的に検出できないのか？
• RQ2 一様なプライア分布とガウス分布に従う有効受容 field の不一致が、ラベル割り当てにどのような影響を及えるのか？
• RQ3 ガウス受容 field を基盤とする新しい類似性メトリックは、微小オブジェクトの正例割り当てを改善できるか？
• RQ4 受容 field 距離に基づく階層的ラベル割り当て戦略は、オブジェクトスケール全体にわたるバランスの取れた学習をもたらすか？
• RQ5 提案された RFLA メソッドは、スケールばらつきが大きく、微小オブジェクトが多数存在する多様なデータセットに一般化可能か？

主な発見

• AI-TOD データセットにおいて、最先端手法を 4.0 AP ポイント上回り、50.1 AP および 69.9 AP50 を達成した。
• VisDrone2019 では、Faster R-CNN に適用した場合、AP_{vt} が 4.7 ポイント、AP_t が 5.5 ポイント向上した。
• DOTA-v2.0 では、DetectoRS に適用した場合、AP_{vt} が 2.1 ポイント、AP_t が 3.8 ポイント向上し、大規模かつ多様なデータセットでも一貫した向上が得られた。
• TinyPerson では、FCOS に適用した場合 AP_{50}^{tiny} が 3.1 ポイント向上、Faster R-CNN に適用した場合 1.4 ポイント向上し、微小オブジェクト専用ベンチマークでも有効性が確認された。
• AI-TOD における可視化結果から、誤検出（偽陰性）が顕著に減少しており、微小オブジェクトの検出性能向上が裏付けられた。
• アブレーションスタディの結果、RFLA はスケール-サンプルの不均衡を軽減し、IoU やセンターに基づく手法と比較して、オブジェクトスケール全体にわたるよりバランスの取れた正例の割り当てが可能であることが確認された。