[논문 리뷰] Rethinking Intersection Over Union for Small Object Detection in Few-Shot Regime

Pierre Le Jeune, Anissa Mokraoui|arXiv (Cornell University)|2023. 07. 17.

Advanced Neural Network Applications인용 수 7

한 줄 요약

논문은 소형 객체 탐지를 위한 소수-shot에서의 성능 개선을 위해 스케일 적응형 IoU 변형인 SIoU를 제안하고, 이를 손실 함수와 평가 지표로서 공중 및 자연 데이터셋에서의 장점을 보여준다.

ABSTRACT

In Few-Shot Object Detection (FSOD), detecting small objects is extremely difficult. The limited supervision cripples the localization capabilities of the models and a few pixels shift can dramatically reduce the Intersection over Union (IoU) between the ground truth and predicted boxes for small objects. To this end, we propose Scale-adaptive Intersection over Union (SIoU), a novel box similarity measure. SIoU changes with the objects' size, it is more lenient with small object shifts. We conducted a user study and SIoU better aligns than IoU with human judgment. Employing SIoU as an evaluation criterion helps to build more user-oriented models. SIoU can also be used as a loss function to prioritize small objects during training, outperforming existing loss functions. SIoU improves small object detection in the non-few-shot regime, but this setting is unrealistic in the industry as annotated detection datasets are often too expensive to acquire. Hence, our experiments mainly focus on the few-shot regime to demonstrate the superiority and versatility of SIoU loss. SIoU improves significantly FSOD performance on small objects in both natural (Pascal VOC and COCO datasets) and aerial images (DOTA and DIOR). In aerial imagery, small objects are critical and SIoU loss achieves new state-of-the-art FSOD on DOTA and DIOR.

연구 동기 및 목표

• 소수-shot 객체 탐지에서 작은 객체에 대한 IoU의 한계를 동기 부여한다.
• 소형 객체의 위치 추정을 개선하기 위한 스케일-적응 유사도 측정치(SIoU)를 제안한다.
• 기존 기준과 이론적·실험적으로 SIoU를 분석한다.
• SIoU가 학습 손실과 평가 지표로서의 효과를 입증한다.
• 항공(DOTA/DIOR) 및 자연(Pascal VOC/COCO) 데이터셋에서 개선을 보인다.

제안 방법

• SIoU를 물체 크기에 의존하는 지수 p의 IoU로 정의하고, 이는 객체 크기에 따라 스케일링되며 감마와 캅파(parameters gamma and kappa)로 제어된다 (p = 1 - gamma * exp(- sqrt(w1*h1 + w2*h2) / (sqrt(2)*kappa))).
• 겹침이 없는 경우에도 동일한 지수를 GIoU에 적용하여 GIoU 유사 변형인 GSIoU로 확장한다.
• 손실/그래디언트 재가중, 분포 특성, 그리고 사용자 연구를 통한 인간 지각과의 정렬을 통해 SIoU를 분석한다.
• FSOD 설정과 데이터셋 전반에서 SIoU와 일반화된 기준(NWD, DIoU/α-IoU, GIoU)을 비교한다.
• 소형 객체와 소샷 체제에 초점을 맞춰 회귀 손실 및 평가 지표로서의 SIoU를 평가한다.

실험 결과

연구 질문

• RQ1 IoU가 소샷 체제에서 작은 객체의 로컬라이제이션을 충분히 다루는가, 그리고 스케일 인식 지표가 학습과 평가를 모두 개선할 수 있는가?
• RQ2 SIoU가 소형 객체의 로컬라이제이션 품질에 대한 인간 지각과 IoU보다 더 잘 일치할 수 있는가?
• RQ3 SIoU 기반 손실이 항공 및 자연 데이터셋에서 작은 객체에 대한 FSOD 성능을 개선하는가?
• RQ4 FSOD 설정에서 SIoU가 기존 기준(NWD, α-IoU, GIoU, GSIoU)과 어떻게 비교되는가?
• RQ5 학습 중 소형과 대형 객체의 균형을 맞추기 위한 실용적 매개변수 선택(감마, 카파)은 무엇인가?

주요 결과

Criterion	All (base)	S (base)	M (base)	L (base)	All (novel)	S (novel)	M (novel)	L (novel)
IoU	50.67	25.83	57.49	68.24	32.41	10.06	47.87	67.09
α-IoU	46.72	13.24	55.21	69.94	33.95	12.58	46.58	74.50
SIoU	53.62	24.07	61.91	67.34	39.05	16.59	54.42	74.49
NWD	50.79	19.19	58.90	67.90	41.65	28.26	50.16	65.06
GIoU	52.41	26.94	61.17	63.00	41.03	24.01	52.13	69.78
GSIoU	52.91	22.14	61.19	66.02	45.88	34.83	51.26	70.78

• SIoU (및 its GSIoU extension) outperforms IoU and several alternatives in FSOD, especially for small objects across DOTA, DIOR, Pascal VOC, and COCO.
• SIoU’s scale-dependent power p makes localization errors on small objects less punitive, improving detection performance on novel classes in aerial datasets.
• A user study shows SIoU aligns better with human perception than IoU, particularly for small objects, justifying its use for evaluation.
• SIoU loss reweights gradients by size, allowing targeted emphasis on small objects during training and achieving new state-of-the-art FSOD results on DOTA/DIOR.
• Parameter choices (e.g., gamma, kappa) can be tuned to emphasize smaller objects, with empirical guidance provided for different datasets.