[论文解读] A Normalized Gaussian Wasserstein Distance for Tiny Object Detection

Jinwang Wang, Chang Xu+2 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 38被引用 256

一句话总结

本文提出 Normalized Wasserstein Distance (NWD) 作为替代 IoU 的度量，用于小目标的边框相似性，改善锚框检测器中的标签分配、NMS 与回归损失，在 anchor-based 检测器中实现，达到 AI-TOD 的最新结果，并在 VisDrone2019 上获得显著提升。

ABSTRACT

Detecting tiny objects is a very challenging problem since a tiny object only contains a few pixels in size. We demonstrate that state-of-the-art detectors do not produce satisfactory results on tiny objects due to the lack of appearance information. Our key observation is that Intersection over Union (IoU) based metrics such as IoU itself and its extensions are very sensitive to the location deviation of the tiny objects, and drastically deteriorate the detection performance when used in anchor-based detectors. To alleviate this, we propose a new evaluation metric using Wasserstein distance for tiny object detection. Specifically, we first model the bounding boxes as 2D Gaussian distributions and then propose a new metric dubbed Normalized Wasserstein Distance (NWD) to compute the similarity between them by their corresponding Gaussian distributions. The proposed NWD metric can be easily embedded into the assignment, non-maximum suppression, and loss function of any anchor-based detector to replace the commonly used IoU metric. We evaluate our metric on a new dataset for tiny object detection (AI-TOD) in which the average object size is much smaller than existing object detection datasets. Extensive experiments show that, when equipped with NWD metric, our approach yields performance that is 6.7 AP points higher than a standard fine-tuning baseline, and 6.0 AP points higher than state-of-the-art competitors. Codes are available at: https://github.com/jwwangchn/NWD.

研究动机与目标

• 分析 IoU 如何对极小目标的位置信偏差高度敏感。
• 提出基于分布的边框表示，以更好地捕捉极小目标的几何形状。
• 引入 Normalized Gaussian Wasserstein Distance (NWD) 以替代 IoU 在分配、NMS 和损失中的作用。
• 证明基于 NWD 的检测器在 TOD 基准测试中获得显著性能提升。

提出的方法

• 将边框建模为以框中心为均值、方差与框宽度/高度成正比的二维高斯分布。
• 将 Normalized Wasserstein Distance (NWD) 定义为高斯模型之间二阶 Wasserstein 距离的指数变换。
• 将 NWD 集成到基于锚框的检测器中，在三个模块中替代 IoU：标签分配、NMS 与回归损失（IoU-Loss 替代）。
• 在结合 AI-TOD 的 Faster R-CNN 上进行消融研究，评估 NWD 在单独模块和组合中的表现。
• 在 AI-TOD 和 VisDrone2019 上评估，比较基于 IoU 的基线在 AP 指标（包括 tiny 和 very tiny 对象范围）上的表现。

实验结果

研究问题

• RQ1 NWD 是否能为极小边框提供比 IoU 更稳定、尺度不变的相似性度量？
• RQ2 在标签分配、NMS 与损失中将 IoU 替换为 NWD 如何影响极小目标的检测性能？
• RQ3 NWD 是否适用于 TOD 的单阶段和多阶段基于锚框的检测器？
• RQ4 在 AI-TOD 和 VisDrone2019 数据集上，NWD 在标准 TOD 指标上的经验增益是多少？

主要发现

• 基于 NWD 的标签分配在 AI-TOD 上的 Faster R-CNN 中比基于 IoU 的分配得到更高的 AP，尤其是 AP_t（极小对象）。
• 在 RPN 阶段，NWD 比 IoU 提升了极小目标的 NMS 性能。
• 基于 NWD 的回归损失提供与 IoU 基损失竞争力甚至更好的 AP，特别是对极小目标。
• 在各检测器（RetinaNet、ATSS、Faster R-CNN、Cascade R-CNN、DetectoRS）中，基于 NWD 的变体始终提升 AP，其中 DetectoRS* 在 AI-TOD 上达到 20.8 的 AP 的最新水平。
• 在 VisDrone2019 上，基于 NWD 的变体在 AP_t 及相关指标上显示显著提升，表明对 UAV 数据集具有泛化性。