[논문 리뷰] A Normalized Gaussian Wasserstein Distance for Tiny Object Detection

Jinwang Wang, Chang Xu외 2명|arXiv (Cornell University)|2021. 10. 26.

Advanced Neural Network Applications참고 문헌 38인용 수 256

한 줄 요약

본 논문은 Tiny 객체를 위한 바운딩 박스 유사도 측정을 IoU를 대체하는 Normalized Wasserstein Distance (NWD)로 제안하여, 앵커 기반 검출기에서 레이블 배정, NMS, 회귀 손실을 개선하고 AI-TOD에서 최첨단 성능을 달성하며 VisDrone2019에서 강력한 이득을 보인다.

ABSTRACT

Detecting tiny objects is a very challenging problem since a tiny object only contains a few pixels in size. We demonstrate that state-of-the-art detectors do not produce satisfactory results on tiny objects due to the lack of appearance information. Our key observation is that Intersection over Union (IoU) based metrics such as IoU itself and its extensions are very sensitive to the location deviation of the tiny objects, and drastically deteriorate the detection performance when used in anchor-based detectors. To alleviate this, we propose a new evaluation metric using Wasserstein distance for tiny object detection. Specifically, we first model the bounding boxes as 2D Gaussian distributions and then propose a new metric dubbed Normalized Wasserstein Distance (NWD) to compute the similarity between them by their corresponding Gaussian distributions. The proposed NWD metric can be easily embedded into the assignment, non-maximum suppression, and loss function of any anchor-based detector to replace the commonly used IoU metric. We evaluate our metric on a new dataset for tiny object detection (AI-TOD) in which the average object size is much smaller than existing object detection datasets. Extensive experiments show that, when equipped with NWD metric, our approach yields performance that is 6.7 AP points higher than a standard fine-tuning baseline, and 6.0 AP points higher than state-of-the-art competitors. Codes are available at: https://github.com/jwwangchn/NWD.

연구 동기 및 목표

• IoU가 미세 객체에 대한 위치 편차에 매우 민감한 이유를 분석한다.
• 미세 객체 기하를 더 잘 포착하기 위한 분포 기반 바운딩 박스 표현을 개발한다.
• Normalised Gaussian Wasserstein Distance (NWD)를 IoU를 할당, NMS, 손실에 대체로 도입한다.
• NWD 기반 검출기가 TOD 벤치마크에서 상당한 성능 향상을 달성하는지 입증한다.

제안 방법

• 박스 중심에 평균이 놓이고宽/高에 비례하는 분산을 갖는 2D 가우시안 분포로 바운딩 박스를 모델링한다.
• Gaussian 모델 간의 2차 Wasserstein 거리의 지수 변환으로 Normalized Wasserstein Distance (NWD)를 정의한다.
• NWD를 앵커 기반 검출기에 통합하여 IoU를 세 모듈(레이블 배정, NMS, 회귀 손실(IoU-Loss 대안))에서 대체한다.
• AI-TOD를 활용한 Faster R-CNN에서 모듈별 및 조합에서 NWD를 평가하기 위한 침착(ablation) 연구를 수행한다.
• AI-TOD와 VisDrone2019에서 IoU 기반 기준선과의 AP 지표를 비교하여 Tiny 및 매우 Tiny 객체 범위를 포함한 성능을 평가한다.

실험 결과

연구 질문

• RQ1 NWD가 IoU보다 Tiny 바운딩 박스에 대해 더 안정적이고 스케일 불변의 유사도 측정치를 제공할 수 있는가?
• RQ2 레이블 배정, NMS, 및 손실에서 IoU를 NWD로 대체하는 것이 Tiny 객체의 탐지 성능에 어떤 영향을 미치는가?
• RQ3 NWD가 TOD를 위한 단일 스테이지 및 다중 스테이지 앵커 기반 검출기 모두에 적용 가능한가?
• RQ4 AI-TOD 및 VisDrone2019 데이터셋에서 표준 TOD 지표에 대한 NWD의 경험적 이득은 어느 정도인가?

주요 결과

• NWD 기반 레이블 배정은 Faster R-CNN에서 IoU 기반 배정보다 AI-TOD에서 AP 및 특히 AP_t(작은 객체) 값을 더 높게 나타낸다.
• NWD는 RPN 단계에서 IoU보다 작은 객체에 대한 NMS 성능을 향상시킨다.
• NWD 기반 회귀 손실은 IoU 기반 손실보다 Tiny 객체의 경우 경쟁력 있거나 더 나은 AP를 제공한다.
• 다양한 검출기(RetinaNet, ATSS, Faster R-CNN, Cascade R-CNN, DetectoRS)에서 NWD 기반 변형이 일관되게 AP를 개선하며, DetectoRS*는 AI-TOD에서 최첨단 20.8 AP를 달성한다.
• VisDrone2019에서 NWD 기반 변형은 AP_t 및 관련 지표에서 주목할 만한 이득을 보여 UAV 데이터셋으로의 일반화를 시사한다.