[논문 리뷰] Stitcher: Feedback-driven Data Provider for Object Detection

Yukang Chen, Peizhen Zhang외 7명|arXiv (Cornell University)|2020. 04. 26.

Advanced Neural Network Applications참고 문헌 12인용 수 42

한 줄 요약

Stitcher 는 피드백 기반 데이터 증강 방법으로, 이미지를 다시 크기 조정하고 조립하여 더 작은 구성 요소로 만들며, 소형 객체가 훈련 손실에 더 많이 기여하도록 보장함으로써 객체 검출 성능을 향상시킨다. 이는 계산 비용이 거의 들지 않으며, 검출기, 백본, 데이터셋 및 작업 전반에서 일관된 성능 향상을 이룬다 — 특히 소형 객체에 대해 두드러진다.

ABSTRACT

Object detectors commonly vary quality according to scales, where the performance on small objects is the least satisfying. In this paper, we investigate this phenomenon and discover that: in the majority of training iterations, small objects contribute barely to the total loss, causing poor performance with imbalanced optimization. Inspired by this finding, we present Stitcher, a feedback-driven data provider, which aims to train object detectors in a balanced way. In Stitcher, images are resized into smaller components and then stitched into the same size to regular images. Stitched images contain inevitable smaller objects, which would be beneficial with our core idea, to exploit the loss statistics as feedback to guide next-iteration update. Experiments have been conducted on various detectors, backbones, training periods, datasets, and even on instance segmentation. Stitcher steadily improves performance by a large margin in all settings, especially for small objects, with nearly no additional computation in both training and testing stages.

연구 동기 및 목표

• 소형 객체가 손실에 기여도가 낮아 훈련에서 성능이 열등해지는 객체 검출기 훈련의 불균형 문제를 해결하기 위해.
• 소형 객체가 훈련 손실에 더 많이 기여하도록 함으로써 최적화 균형을 향상시키기 위해.
• 추가 계산 비용 없이도 손실 피드백을 활용해 동적으로 훈련을 이끄는 데이터 증강 방법을 설계하기 위해.
• 다양한 검출기, 백본, 데이터셋 및 작업(예: 인스턴스 세그멘테이션 포함)에 걸쳐 효과를 평가하기 위해.

제안 방법

• 이미지가 더 작은 구성 요소로 분할되고, 다시 원래 크기로 재조립되어 소형 객체가 보존된 새로운 훈련 샘플을 생성한다.
• 각 훈련 반복에서의 손실 통계를 피드백으로 사용하여 다음 반복의 데이터 샘플링 및 최적화를 이끌어낸다.
• 재조정 및 재조립 과정으로 인해 스티칭된 이미지에는 자연스럽게 더 작은 객체가 포함되어 있어 훈련에서의 표현 비율이 증가한다.
• 피드백 메커니즘은 소형 객체가 손실에 더 많이 기여하는 샘플을 우선적으로 선택하여 최적화 균형을 향상시킨다.
• 이 방법은 검출기 아키텍처, 백본 및 훈련 스케줄에 관계없이 적용 가능하므로 광범위한 적용성을 가진다.

실험 결과

연구 질문

• RQ1 왜 객체 검출에서 소형 객체는 성능 향상에 필수적이지만, 최적화가 열악한가?
• RQ2 훈련 반복의 손실 통계를 피드백으로 사용하여 다양한 객체 크기 간 최적화 균형을 재조정할 수 있는가?
• RQ3 이미지 스티칭을 통한 데이터 증강이 최적화 균형과 검출 정확도, 특히 소형 객체에 대해 향상되는가?
• RQ4 이러한 방법은 추론 비용 증가 없이도 다양한 검출기, 백본 및 데이터셋에 일반적으로 적용 가능한가?

주요 결과

• Stitcher 는 평가된 모든 검출기 및 데이터셋에서 소형 객체 검출 성능을 크게 향상시켰다.
• mAP 에서 일관된 성능 향상을 달성했으며, 특히 소형 객체 AP 에서 가장 큰 향상이 관찰되어 최적화 균형이 향상됨을 시사한다.
• 다양한 훈련 기간, 백본 및 데이터셋에서 성능 향상이 유지되어 강건성을 입증했다.
• 훈련 및 추론 과정에서 거의 추가 계산 비용이 발생하지 않아 실세계 적용에 실용적이다.