[논문 리뷰] Rethinking Training from Scratch for Object Detection

Yang Li, Hong Zhang외 1명|arXiv (Cornell University)|2021. 06. 06.

Advanced Neural Network Applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 대상 검출 데이터셋에서 저해상도 이미지를 사용하여 직접 검출기 미리 훈련하는 새로운 훈련 파이프라인을 제안한다. 이후 고해상도 입력으로 미세조정한다. 저해상도에서 배치 정규화와 큰 배치 크기를 사용함으로써 COCO에서 미리 훈련을 11배 이상 빠르게 하면서 ImageNet 미리 훈련보다 +1.8 mAP를 달성하며, 제한된 GPU 메모리(11GB)에서도 효율적으로 작동한다.

ABSTRACT

The ImageNet pre-training initialization is the de-facto standard for object detection. He et al. found it is possible to train detector from scratch(random initialization) while needing a longer training schedule with proper normalization technique. In this paper, we explore to directly pre-training on target dataset for object detection. Under this situation, we discover that the widely adopted large resizing strategy e.g. resize image to (1333, 800) is important for fine-tuning but it's not necessary for pre-training. Specifically, we propose a new training pipeline for object detection that follows `pre-training and fine-tuning', utilizing low resolution images within target dataset to pre-training detector then load it to fine-tuning with high resolution images. With this strategy, we can use batch normalization(BN) with large bath size during pre-training, it's also memory efficient that we can apply it on machine with very limited GPU memory(11G). We call it direct detection pre-training, and also use direct pre-training for short. Experiment results show that direct pre-training accelerates the pre-training phase by more than 11x on COCO dataset while with even +1.8mAP compared to ImageNet pre-training. Besides, we found direct pre-training is also applicable to transformer based backbones e.g. Swin Transformer. Code will be available.

연구 동기 및 목표

• 이미지넷 사전 훈련에 의존하지 않고, 객체 검출을 위해 더 빠르고 효율적인 훈련 파이프라인을 개발하는 것.
• 특히 고해상도 환경에서 작은 배치 크기와 메모리 제약으로 인해 효율성이 떨어지는 객체 검출기의 훈련 문제를 해결하는 것.
• 완전한 바운딩 박스 및 마스크 애너테이션을 사용하여 대상 검출 데이터셋에 직접 사전 훈련하는 것이 이미지넷 사전 훈련을 능가할 수 있는지 탐색하는 것.
• 배치 정규화를 사용한 저해상도 사전 훈련을 통해 제한된 GPU 메모리(예: GPU당 11GB)에서도 효과적인 훈련을 가능하게 하는 것.
• CNN 및 스윙 트랜스포머를 포함한 다양한 아키텍처와 저데이터 환경에서 메서드의 유효성을 검증하는 것.

제안 방법

• 두 단계 훈련 파이프라인을 제안: 대상 데이터셋에서 저해상도 이미지(예: 640×640)를 사용해 배치 정규화와 큰 배치 크기를 적용해 사전 훈련한다.
• 표준 객체 검출 훈련 프로토콜을 사용해 고해상도 이미지(예: 1333×800)에서 사전 훈련된 모델을 미세조정한다.
• 이전 방법이 분류 레이블만 사용하는 것과 달리, 사전 훈련 중에 바운딩 박스 및 마스크 애너테이션의 전체 지도 정보를 활용한다.
• 그룹 정규화나 동기화 배치 정규화와 같은 복잡한 모듈을 피함으로써 단순성과 효율성을 유지한다.
• 아키텍처 수정 없이 표준 검출 헤드와 백본(예: ResNeXt, 스윙 트랜스포머)을 사용한다.
• 저해상도 사전 훈련이 고해상도 미세조정을 위한 초기화 품질을 향상시키는 코arse-to-fine 전략을 취한다.

실험 결과

연구 질문

• RQ1 대상 검출 데이터셋에 직접 사전 훈련하는 것이 이미지넷 사전 훈련보다 성능과 속도 면에서 뛰어나지 않는가?
• RQ2 대상 데이터셋의 저해상도 이미지를 사용할 때, 사전 훈련 중에 큰 배치 크기와 함께 배치 정규화를 사용하는 것이 가능한가?
• RQ3 스윙 트랜스포머와 같은 트랜스포머 기반 백본에 적용했을 때도 직접 사전 훈련이 효과적인가?
• RQ4 저데이터 환경(예: COCO의 1/10, PASCAL VOC)에서 직접 사전 훈련은 어떻게 성능을 내는가?
• RQ5 특수 하드웨어가 필요 없이 제한된 GPU 메모리(예: GPU당 11GB)에서도 직접 사전 훈련을 효율적으로 구현할 수 있는가?

주요 결과

• COCO에서 직접 사전 훈련은 기존의 훈련 방식 대비 11배 이상 빠른 사전 훈련 속도를 기록하며, 이미지넷 사전 훈련보다 +1.8 mAP를 달성한다.
• 이 방법은 훈련과 추론 모두 빠르게 작동한다: 반복당 훈련 시간은 0.424초(이미지넷 대비 0.478초)이며, 1080Ti에서 추론 속도는 8.6 fps로 이미지넷 미세조정과 동일하다.
• COCO에서 직접 사전 훈련은 다양한 검출기에서 이미지넷 사전 훈련을 능가한다: RetinaNet(+0.6 mAP), Faster R-CNN(+1.9 mAP), Cascade R-CNN(+1.2 mAP), Swin-T를 사용한 Mask R-CNN(+1.2 mAP).
• 이 방법은 메모리 효율적이며, 8×2080Ti GPU(각각 11GB)에서도 작동하여 이전 방법이 요구하는 TPU나 고메모리 설정이 필요 없도록 한다.
• 스윙 트랜스포머에서도 직접 사전 훈련이 효과적이며, Swin-T를 사용해 COCO에서 45.0 mAP를 기록해 이미지넷 사전 훈련 기반 베이스라인(43.8 mAP)을 초월한다.
• 저데이터 설정(1/10 COCO)에서는 직접 사전 훈련이 이미지넷 사전 훈련을 능가한다(23.2 vs. 22.1 mAP), 하지만 PASCAL VOC에서는 여전히 이미지넷 사전 훈련이 우월하여 매우 작은 데이터셋에서는 한계가 있음을 시사한다.