[논문 리뷰] SNIPER: Efficient Multi-Scale Training

Bharat Singh, Mahyar Najibi외 1명|arXiv (Cornell University)|2018. 05. 23.

Advanced Neural Network Applications참고 문헌 39인용 수 55

한 줄 요약

SNIPER는 ground-truth 인스턴스 주변에서 추출한 작은 다중 스케일 칩과 선택된 네거티브로 탐지기를 학습시켜 약 3x의 효율로 대략 전체 이미지 피라미드 성능에 근접하고 단일 GPU에서 대규모 배치를 학습합니다.

ABSTRACT

We present SNIPER, an algorithm for performing efficient multi-scale training in instance level visual recognition tasks. Instead of processing every pixel in an image pyramid, SNIPER processes context regions around ground-truth instances (referred to as chips) at the appropriate scale. For background sampling, these context-regions are generated using proposals extracted from a region proposal network trained with a short learning schedule. Hence, the number of chips generated per image during training adaptively changes based on the scene complexity. SNIPER only processes 30% more pixels compared to the commonly used single scale training at 800x1333 pixels on the COCO dataset. But, it also observes samples from extreme resolutions of the image pyramid, like 1400x2000 pixels. As SNIPER operates on resampled low resolution chips (512x512 pixels), it can have a batch size as large as 20 on a single GPU even with a ResNet-101 backbone. Therefore it can benefit from batch-normalization during training without the need for synchronizing batch-normalization statistics across GPUs. SNIPER brings training of instance level recognition tasks like object detection closer to the protocol for image classification and suggests that the commonly accepted guideline that it is important to train on high resolution images for instance level visual recognition tasks might not be correct. Our implementation based on Faster-RCNN with a ResNet-101 backbone obtains an mAP of 47.6% on the COCO dataset for bounding box detection and can process 5 images per second during inference with a single GPU. Code is available at https://github.com/MahyarNajibi/SNIPER/.

연구 동기 및 목표

• 효율적인 다중 스케일 학습을 위한 인스턴스 수준의 시각 인식 태스크 동기 부여.
• 픽셀 처리량을 줄이면서 성능을 유지하는 칩 기반 샘플링 전략 제안.
• 단일 GPU에서 배치 정규화를 활용한 대규모 배치 학습 가능하게.
• 컨텍스트와 스케일이 탐지기 성능에 미치는 영향 조사.
• ResNet-101 백본을 사용한 Faster-RCNN으로 COCO에서 경쟁력 있는 결과 보이기.

제안 방법

• Ground-truth 물체(양성 칩) 주위에서 다중 스케일 이미지 피라미드를 생성하고 512×512 칩(컨텍스트 영역)을 샘플링합니다.
• 짧은 스케줄 RPN을 사용하여 가능성이 있는 거짓 양성으로 커버하는 음수 칩을 선택합니다.
• 각 칩 내부의 제안에 대해 스케일 범위로 필터링 없이 라벨과 바운딩 박스 타깃을 할당합니다. 0Faster-RCNN과 같이 칩 기반 입력으로 엔드투엔드 학습합니다.
• 적절한 스케일로 ground-truth 박스를 칩으로 덮어 모든 인스턴스가 관찰되도록 합니다. 0라벨 할당을 위해 칩 안의 cropped ground-truth 박스를 유지합니다.
• 단일 GPU에서 배치 정규화를 가능하게 하는 낮은 해상도에서 재샘플링된 칩으로 대규모 미니배치 학습을 수행합니다.
• 표준 COCO 메트릭으로 평가하고 세 가지 스케일에서 SNIP과 비교하며 재현율과 네거티브 마이닝의 영향을 분석합니다.

실험 결과

연구 질문

• RQ1 다양한 스케일에서 작고 스케일에 맞춘 칩을 사용한 학습이 전체 이미지 피라미드 다중 스케일 학습 성능과 일치할 수 있는가?
• RQ2 음수 칩 마이닝이 계산 비용을 줄이면서 탐지기 성능을 개선하는가?
• RQ3 SNIPER 스타일 칩을 사용할 때 단일 GPU에서 배치 정규화와 함께 대규모 배치 학습이 가능한가?
• RQ4 칩 기반 샘플링으로 컨텍스트를 줄이는 것이 객체 크기에 따라 재현율과 mAP에 어떤 영향을 미치는가?

주요 결과

방법	백본	AP	AP50	AP75	APs	APm	APl
SNIPER	ResNet-101	46.1	67.0	51.6	29.6	48.9	58.1
SNIPER 2 scale	ResNet-101	43.3	63.7	48.6	27.1	44.7	56.1
SNIPER w/o negatives	ResNet-101	43.4	62.8	48.8	27.4	45.2	56.2

• SNIPER는 단일 스케일 학습 대비 대략 30% 더 많은 픽셀을 처리하면서도 전체 이미지 피라미드 다중 스케일 학습과 비슷한 성능을 달성합니다.
• 음수 칩 마이닝을 활용한 학습은 ResNet-101 및 엔드-투-엔드 학습에서 SNIPER의 AP를 43.4에서 46.1로 향상시킵니다.
• RPN의 재현율은 음수 샘플링 여부에 관계없이 안정적으로 유지되며, 음수 칩 마이닝으로 인해 재현율만 감소하지 않는다는 것을 시사합니다.
• 세 스케일 학습(512, 1.667×, 3×)은 두 스케일 구성보다 더 나은 성능을 보이며, 다중 스케일 샘플링의 이점을 보여줍니다.
• COCO에서 ResNet-101을 사용한 SNIPER는 46.1 AP를 달성하고(OpenImages 사전학습 및 분할 헤드 사용 시 47.6%), 단일 V100 GPU에서 초당 약 5장의 이미지 처리 가능.
• SNIPER는 대규모 배치 및 BN을 단일 GPU에서 가능하게 하여 고해상도 이미지가 인스턴스 수준 인식에 필수라는 기존 인식을 도전합니다.