[논문 리뷰] Data Augmentation for Object Detection via Progressive and Selective Instance-Switching

Hao Wang, Qilong Wang외 3명|arXiv (Cornell University)|2019. 06. 02.

Advanced Neural Network Applications참고 문헌 50인용 수 56

한 줄 요약

본 논문은 instance-switching (IS) 및 Progressive and Selective Instance-Switching (PSIS)을 제안하여 외부 데이터셋 없이 객체 탐지를 위한 학습 데이터를 증강하고, MS COCO에서 최신 검출기의 성능을 향상시킨다.

ABSTRACT

Collection of massive well-annotated samples is effective in improving object detection performance but is extremely laborious and costly. Instead of data collection and annotation, the recently proposed Cut-Paste methods [12, 15] show the potential to augment training dataset by cutting foreground objects and pasting them on proper new backgrounds. However, existing Cut-Paste methods cannot guarantee synthetic images always precisely model visual context, and all of them require external datasets. To handle above issues, this paper proposes a simple yet effective instance-switching (IS) strategy, which generates new training data by switching instances of same class from different images. Our IS naturally preserves contextual coherence in the original images while requiring no external dataset. For guiding our IS to obtain better object performance, we explore issues of instance imbalance and class importance in datasets, which frequently occur and bring adverse effect on detection performance. To this end, we propose a novel Progressive and Selective Instance-Switching (PSIS) method to augment training data for object detection. The proposed PSIS enhances instance balance by combining selective re-sampling with a class-balanced loss, and considers class importance by progressively augmenting training dataset guided by detection performance. The experiments are conducted on the challenging MS COCO benchmark, and results demonstrate our PSIS brings clear improvement over various state-of-the-art detectors (e.g., Faster R-CNN, FPN, Mask R-CNN and SNIPER), showing the superiority and generality of our PSIS. Code and models are available at: https://github.com/Hwang64/PSIS.

연구 동기 및 목표

• 객체 탐지의 데이터 필요성 및 높은 라벨링 비용에 대응하여 내부 데이터 증강 방법을 제안한다.
• 인스턴스 스위칭(IS)을 통해 시각적 맥락을 보존하면서 샘플 다양성을 증가시킨다.
• 선택적 재샘플링과 클래스 균형 손실을 통해 클래스 불균형을 완화하고 클래스 중요성을 반영한다.
• 탐지 성능이 낮은 클래스를 강조하도록 점진적으로 데이터를 확대한다.
• MS COCO에서 여러 검출기에 걸친 PSIS의 효과를 실증한다.

제안 방법

• 모양 및 스케일 유사성을 기준으로 같은 클래스를 포함하는 두 이미지 쌍에서 교환 가능한 인스턴스의 후보 집합을 정의한다.
• 두 이미지 간에 인스턴스를 재배열(크기 조정 및 붙여넣기)하고 경계 부드럽게를 위해 가우시안 블러로 경계선을 매끄럽게 처리하여 맥락을 보존한다.
• 선택적 재샘플링으로 클래스 인스턴스 수를 평등화하고 과적합을 방지하기 위한 클래스 균형 손실(감마 제어 재가중)을 통해 인스턴스 균형을 강화한다.
• 훈련 중 AP가 가장 낮은 클래스를 식별하고 체계적으로 해당 클래스의 증강 샘플을 증가시키는 점진적 증강을 도입한다.
• 점진적으로 생성된 PSIS 샘플이 증가하는 증강 데이터셋으로 검출기를 반복적으로 학습한다.

실험 결과

연구 질문

• RQ1 인스턴스 스위칭이 외부 데이터 없이도 다양하면서도 맥락에 부합하는 합성 이미지를 생성할 수 있는가?
• RQ2 인스턴스 분포의 균형화와 클래스 빈도에 따른 가중치 부여가 검출기 성능을 향상시키는가?
• RQ3 점진적 증강 전략이 정확도가 가장 낮은 클래스의 탐지 성능을 높일 수 있는가?
• RQ4 PSIS가 MS COCO에서 다수의 최신 검출기(Faster R-CNN, FPN, Mask R-CNN, SNIPER 등)과 어떻게 결합되는가?

주요 결과

• IS는 외부 데이터 없이 다양성과 맥락적 일관성을 향상시켜 원래 데이터셋 대비 성능 향상을 가져온다.
• IS를 동일하게 샘플링하는 Ω_equ는 COCO 검증에서 Ω_ori 단독 대비 Faster R-CNN (ResNet-101)의 mAP를 약 1.1% 향상시킨다.
• Ω_uni와 Ω_ori, 그리고 클래스 균형 손실(ℓ_CB)을 함께 적용한 균일 증강은 mAP를 29.0%로 올려 27.3%의 베이스라인 대비 향상된다.
• 저AP 클래스를 대상으로 하는 Progressive IS는 PSIS와 결합 시 추가로 약 0.7%의 mAP 향상을 가져온다.
• PSIS로 증강된 데이터는 COCO에서 다수의 검출기(FPN, Mask R-CNN, SNIPER)를 지속적으로 개선하며, 다양한 지표에서 약 0.6%에서 1.3%의 이득을 보인다.
• 최종 PSIS 데이터셋(Ω_PSIS)은 약 283k장의 이미지를 포함하며 아키텍처 전반에 걸쳐 측정 가능한 개선을 제공하여 효과성과 일반성을 나타낸다.