[논문 리뷰] Augmentation for small object detection

Máté Kisantal, Zbigniew Wojna외 3명|arXiv (Cornell University)|2019. 02. 19.

Advanced Neural Network Applications참고 문헌 24인용 수 62

한 줄 요약

이 논문은 MS COCO에서 Mask R-CNN에 대해 작은 물체가 앵커에 잘 매칭되지 않는 문제를 확인하고, 작은 물체 탐지 및 분할을 개선하기 위해 작은 물체의 oversampling과 복사-붙여넣기 증강을 제안하며, Mask R-CNN 대비 눈에 띄는 향상을 달성한다.

ABSTRACT

In recent years, object detection has experienced impressive progress. Despite these improvements, there is still a significant gap in the performance between the detection of small and large objects. We analyze the current state-of-the-art model, Mask-RCNN, on a challenging dataset, MS COCO. We show that the overlap between small ground-truth objects and the predicted anchors is much lower than the expected IoU threshold. We conjecture this is due to two factors; (1) only a few images are containing small objects, and (2) small objects do not appear enough even within each image containing them. We thus propose to oversample those images with small objects and augment each of those images by copy-pasting small objects many times. It allows us to trade off the quality of the detector on large objects with that on small objects. We evaluate different pasting augmentation strategies, and ultimately, we achieve 9.7\% relative improvement on the instance segmentation and 7.1\% on the object detection of small objects, compared to the current state of the art method on MS COCO.

연구 동기 및 목표

• Mask R-CNN으로 MS COCO에서 작은 물체 탐지가 큰 물체에 비해 뒤처지는 이유를 설명한다.
• 작은 물체 성능을 높이기 위한 oversampling 및 copy-paste 증강을 제안한다.
• 증강 전략을 평가하고 작은 물체와 큰 물체 성능 간의 트레이드오프를 정량화한다.

제안 방법

• Mask R-CNN에서 앵커 매칭 및 작은 물체 커버리지를 MS COCO에서 분석한다.
• 학습 중 작은 물체가 포함된 이미지의 oversampling.
• 무작위 변환으로 작은 물체 인스턴스를 복사-붙여넣기하여 이미지를 증강한다.
• 다른 copy-paste 전략과 붙여넣기 알고리즘을 테스트하여 작은 물체 AP에 미치는 영향을 평가한다.
• MS COCO에서 기본 Mask R-CNN과 비교하여 작은 물체 성능을 평가한다.

실험 결과

연구 질문

• RQ1 MS COCO에서 Mask R-CNN의 앵커 기반 매칭이 작은 물체 탐지에 어떤 영향을 미치는가?
• RQ2 작은 물체가 포함된 이미지의 oversampling이 작은 물체 AP(세분화 및 탐지)에 미치는 영향은?
• RQ3 작은 물체의 copy-paste 증강이 큰 물체 AP를 심하게 해치지 않으면서 작은 물체 AP를 개선할 수 있는가?
• RQ4 어떤 copy-paste 전략과 붙여넣기 규칙이 작은 물체 AP를 최대화하는가?

주요 결과

• 작은 물체가 포함된 이미지를 oversampling하면 작은 물체 AP가 향상된다(세분화 AP에서 최대 1 포인트, 상대적 증가 약 8.85%).
• 작은 물체의 copy-paste 증강은 oversampling과 결합될 때 작은 물체 AP와 전체 AP를 증가시키며, 최상의 결과는 원본과 증강 이미지를 2:1 비율의 혼합에서 나온다.
• 단일 작은 물체를 몇 번 복사 붙여넣기(1–3x)가 모든 작은 물체의 많은 복제를 붙여넣는 것보다 종종 작은 물체 이익이 더 큼.
• 겹치지 않는 붙여넣기와 에지 블러링을 적용하지 않는 것이 좋다; 비겹치는 붙여넣기가 작은 물체 이익을 보존한다.
• 최고의 전체 결과는 oversampling과 보통 정도의 증강(original+aug)에서 p=0.5와 original:augmented small-object 비율 2:1를 결합했을 때 얻어진다.
• 증강 전략은 작은 물체에 대한 향상이 큰 물체 성능의 희생을 수반할 수 있는 트레이드를 제공한다.