[論文レビュー] A Normalized Gaussian Wasserstein Distance for Tiny Object Detection

Jinwang Wang, Chang Xu+2 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 38被引用数 256

ひとこと要約

本論文は Tiny objects の境界ボックスの類似性を測る指標として IoU の代替となる Normalized Wasserstein Distance (NWD) を提案し、アサインメント、NMS、回帰損失を改善することで、 anchor-based detectors における最先端の結果を AI-TOD で達成し、VisDrone2019 で顕著な利得を得ている。

ABSTRACT

Detecting tiny objects is a very challenging problem since a tiny object only contains a few pixels in size. We demonstrate that state-of-the-art detectors do not produce satisfactory results on tiny objects due to the lack of appearance information. Our key observation is that Intersection over Union (IoU) based metrics such as IoU itself and its extensions are very sensitive to the location deviation of the tiny objects, and drastically deteriorate the detection performance when used in anchor-based detectors. To alleviate this, we propose a new evaluation metric using Wasserstein distance for tiny object detection. Specifically, we first model the bounding boxes as 2D Gaussian distributions and then propose a new metric dubbed Normalized Wasserstein Distance (NWD) to compute the similarity between them by their corresponding Gaussian distributions. The proposed NWD metric can be easily embedded into the assignment, non-maximum suppression, and loss function of any anchor-based detector to replace the commonly used IoU metric. We evaluate our metric on a new dataset for tiny object detection (AI-TOD) in which the average object size is much smaller than existing object detection datasets. Extensive experiments show that, when equipped with NWD metric, our approach yields performance that is 6.7 AP points higher than a standard fine-tuning baseline, and 6.0 AP points higher than state-of-the-art competitors. Codes are available at: https://github.com/jwwangchn/NWD.

研究の動機と目的

• IoU が Tiny objects の位置偏差に対して非常に敏感である理由を分析する。
• Tiny object の幾何をよりよく捉えるための分布ベースの境界ボックス表現を開発する。
• Normalized Gaussian Wasserstein Distance (NWD) を IoU の代わりに割り当て、NMS、損失に適用する。
• NWD ベースの検出器が TOD ベンチマークで顕著な性能向上を達成することを示す。

提案手法

• 境界ボックスを重心を平均とし、幅/高さに比例する分散を持つ 2D ガウス分布としてモデリングする。
• Gaussian モデル間の 2nd-order Wasserstein 距離を指数変換したものとして Normalized Wasserstein Distance (NWD) を定義する。
• 3 つのモジュール（ラベル割り当て、NMS、回帰損失（IoU-Loss の代替））で IoU の代わりに NWD を組み込み、 anchor-based 検出器に適用する。
• Faster R-CNN を用いた AI-TOD で個々のモジュールおよび組み合わせの NWD を評価するアブレーション研究を実施する。
• AI-TOD および VisDrone2019 で IoU ベースの基準と比較し、AP 指標（小さな物体領域を含む）での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 NWD は IoU よりも小さな bounding box の類似性を安定かつスケール不変に提供できるのか？
• RQ2 ラベル割り当て、NMS、損失において IoU を NWD に置換することで Tiny objects の検出性能にどんな影響があるか？
• RQ3 NWD は TOD のシングルステージおよびマルチステージの anchor-based 検出器の両方に適用可能か？
• RQ4 AI-TOD および VisDrone2019 の標準 TOD 指標における NWD の経験的利得はどの程度か？

主な発見

• NWD ベースのラベル割り当ては IoU ベースの割り当てに比べて、Faster R-CNN の AI-TOD で AP および特に AP_t（tiny objects）を高くする。
• NWD は RPN ステージにおける tiny objects の NMS パフォーマンスを IoU より改善する。
• NWD ベースの回帰損失は IoU ベースの損失と比較して、特に tiny objects で競争力があるまたは上回る AP を提供する。
• 検出器全体（RetinaNet、ATSS、Faster R-CNN、Cascade R-CNN、DetectoRS）で NWD ベースの変種が一貫して AP を改善し、DetectoRS* は AI-TOD で最先端の 20.8 AP に達した。
• VisDrone2019 では NWD ベースの変種が AP_t および関連指標で顕著な利得を示し、UAV データセットへの一般化を示唆する。