[논문 리뷰] Dynamic Scale Training for Object Detection

Yukang Chen, Peizhen Zhang외 6명|arXiv (Cornell University)|2020. 04. 26.

Advanced Neural Network Applications참고 문헌 42인용 수 24

한 줄 요약

이 논문은 동적 스케일 훈련(Dynamic Scale Training, DST)을 제안한다. DST는 소형 객체의 손실 비율을 실시간으로 반영하여 콜라주 기반 데이터 준비 방식을 동적으로 조정함으로써 객체 검출에서의 스케일 변동성을 완화하는 피드백 기반 데이터 증강 방법이다. 최적화 피드백을 통해 증강을 이끌어내어, 추론 오버헤드 없이 MS COCO에서 mAP를 2% 이상 향상시키며, 더 빠른 수렴과 다양한 백본 및 작업에 대한 일반화 능력을 제공한다.

ABSTRACT

We propose a Dynamic Scale Training paradigm (abbreviated as DST) to mitigate scale variation challenge in object detection. Previous strategies like image pyramid, multi-scale training, and their variants are aiming at preparing scale-invariant data for model optimization. However, the preparation procedure is unaware of the following optimization process that restricts their capability in handling the scale variation. Instead, in our paradigm, we use feedback information from the optimization process to dynamically guide the data preparation. The proposed method is surprisingly simple yet obtains significant gains (2%+ Average Precision on MS COCO dataset), outperforming previous methods. Experimental results demonstrate the efficacy of our proposed DST method towards scale variation handling. It could also generalize to various backbones, benchmarks, and other challenging downstream tasks like instance segmentation. It does not introduce inference overhead and could serve as a free lunch for general detection configurations. Besides, it also facilitates efficient training due to fast convergence. Code and models are available at github.com/yukang2017/Stitcher.

연구 동기 및 목표

• 소형 객체가 데이터 분포의 불균형으로 인해 부족하게 표현되고 탐지가 어려운 스케일 변동 문제를 지속적으로 해결하기 위해.
• 훈련 중에 동적으로 협업하지 못하는 정적 데이터 증강 및 모델 최적화 전략의 한계를 극복하기 위해.
• 최적화 피드백에 기반해 실시간으로 데이터 준비를 적응시키는 훈련 철학을 개발하여 소수의 스케일 객체에 대한 탐지 성능을 향상시키기 위해.
• 모델 아키텍처나 추론 파이프라인을 수정하지 않고도 다양한 백본, 데이터셋 및 인스턴스 세그멘테이션과 같은 후속 작업에 일반적으로 적용 가능하도록 하기 위해.
• 추론 오버헤드 없이 더 빠른 수렴과 향상된 정확도-속도 트레이드오프를 달성하면서도 탐지 정확도를 유지하거나 향상시키기 위해.

제안 방법

• 소형 객체 인스턴스의 다양성을 높이기 위해 콜라주 스타일의 축소된 이미지를 사용하는 동적 데이터 증강 전략을 도입한다.
• 소형 객체의 손실 비율을 피드백 신호로 사용하여 훈련 중에 콜라주 증강을 언제, 얼마나 자주 적용할지 결정한다.
• 임계값 기반 결정 규칙을 적용: 소형 객체의 손실 비율이 학습된 임계값 τ=0.1을 초과하면 최적화 편향을 교정하기 위해 콜라주 증강을 활성화한다.
• 실시간 성능 메트릭에 기반해 콜라주 사용 빈도를 동적으로 제어하여 적응적이고 반응적인 데이터 준비를 보장한다.
• 다양성과 계산 비용 사이의 균형을 고려해 콜라주당 고정된 네 개의 구성 이미지(k=4)를 사용한다.
• 모델 아키텍처나 추론 파이프라인을 수정하지 않고도 표준 검출기인 Faster R-CNN에 ResNet-50과 FPN를 통합한다.

실험 결과

연구 질문

• RQ1 피드백 기반의 동적 데이터 증강이 정적 멀티스케일 훈련에 비해 소형 객체 탐지 성능을 향상시킬 수 있는가?
• RQ2 최적화 피드백을 데이터 준비에 통합하면 다양한 백본과 데이터셋에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 모델 구조를 수정하거나 추론 비용을 추가하지 않고도 인스턴스 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ4 손실 통계에 기반한 동적 증강 조정이 스케일별 최적화 균형에 어떤 영향을 미치는가?
• RQ5 동적 증강을 활성화하기 위한 최적의 임계값 τ는 무엇이며, 이는 훈련 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• DST는 기준 Faster R-CNN에 비해 MS COCO에서 mAP를 2.0% 이상 향상시키며, 소형 객체에 대해 특히 뚜렷한 향상(소형 객체 APs: 21.1에서 24.4로 상승)을 보였다.
• 이 방법은 더 빠른 수렴을 가능하게 하여 기준 모델이 90k 반복을 거쳐 달성하는 mAP를 50k 반복 만에 도달했다.
• 더 낮은 입력 해상도(512, 853)에서도 DST는 37.0 mAP를 유지하면서 기준 모델(800, 1333) 대비 1.6배 빠른 속도를 기록하여 뛰어난 정확도-속도 트레이드오프를 입증했다.
• 이 방법은 다양한 백본과 작업으로의 일반화 능력이 뛰어나, 아키텍처 변경 없이도 인스턴스 세그멘테이션 성능 향상을 이끌었다.
• 콜라주 구성 요소에서 극소형 객체(면적 < 100 픽셀)를 제거해도 성능에 거의 영향을 주지 않으며(AP: 38.6 이전 및 이후 동일), 노이즈에 대한 강건성을 보였다.
• 손실 비율 분석 결과, DST는 스케일 간 최적화 균형을 효과적으로 조정하여 소형 객체에 대해 매우 낮은 손실을 기록하는 훈련 반복 비율을 >50%에서 근처 0으로 감소시켰다.