[논문 리뷰] ScratchDet: Training Single-Shot Object Detectors from Scratch

Rui Zhu, Shifeng Zhang외 5명|arXiv (Cornell University)|2018. 10. 19.

Advanced Neural Network Applications참고 문헌 35인용 수 8

한 줄 요약

이 논문은 배치 정규화(BatchNorm)를 백본 및 검출 헤드 네트워크 양쪽에 통합하여 사전 훈련 없이도 안정적인 훈련과 높은 성능을 달성할 수 있도록 설계된 단일 스파크 객체 검출기인 ScratchDet을 제안한다. 루트-ResNet 백본을 도입하여 특징 맵 해상도를 유지함으로써, PASCAL VOC 2007(86.3%), VOC 2012(86.3%), MS COCO(멀티스케일 테스트 기준 39.1% AP)에서 최신 기술 수준(mAP)을 달성하며, 여러 사전 훈련된 검출기들을 능가한다.

ABSTRACT

Current state-of-the-art object objectors are fine-tuned from the off-the-shelf networks pretrained on large-scale classification dataset ImageNet, which incurs some additional problems: 1) The classification and detection have different degrees of sensitivity to translation, resulting in the learning objective bias; 2) The architecture is limited by the classification network, leading to the inconvenience of modification. To cope with these problems, training detectors from scratch is a feasible solution. However, the detectors trained from scratch generally perform worse than the pretrained ones, even suffer from the convergence issue in training. In this paper, we explore to train object detectors from scratch robustly. By analysing the previous work on optimization landscape, we find that one of the overlooked points in current trained-from-scratch detector is the BatchNorm. Resorting to the stable and predictable gradient brought by BatchNorm, detectors can be trained from scratch stably while keeping the favourable performance independent to the network architecture. Taking this advantage, we are able to explore various types of networks for object detection, without suffering from the poor convergence. By extensive experiments and analyses on downsampling factor, we propose the Root-ResNet backbone network, which makes full use of the information from original images. Our ScratchDet achieves the state-of-the-art accuracy on PASCAL VOC 2007, 2012 and MS COCO among all the train-from-scratch detectors and even performs better than several one-stage pretrained methods. Codes will be made publicly available at https://github.com/KimSoybean/ScratchDet.

연구 동기 및 목표

• 객체 검출에서 ImageNet 사전 훈련된 백본에 대한 의존도를 제거함으로써, 아키텍처 제약과 최적화 편향을 줄이기 위해.
• 다양한 네트워크 아키텍처에서 무작위 초기화로부터 안정적인 훈련을 가능하게 하기 위해.
• 사전 훈련 없이도 사전 훈련된 모델과 비교하거나 뛰어난 검출 성능를 달성하기 위해.
• 초기 특징 추출 단계를 재설계하여 소형 객체 검출 성능을 향상시키기 위해.

제안 방법

• 훈련 동역학의 안정성과 최적화 경로의 매끄러움을 향상시키기 위해, 백본 및 검출 헤드 하위망 양쪽에 배치 정규화(BatchNorm) 레이어를 통합한다.
• 원본 이미지에서 정보 흐름을 향상시키고 고해상도 특징 맵을 유지하기 위해 재설계된 루트 블록을 갖춘 새로운 루트-ResNet 백본을 제안한다.
• 특히 초기 합성곱 레이어에서의 다운샘플링 요인과 샘플링 스트라이드에 영향을 미치는 요소들을 분석하기 위해 광범위한 아블레이션 연구를 수행한다.
• ImageNet 사전 훈련 없이 표준 훈련 프로토콜을 사용하여 PASCAL VOC 및 MS COCO 데이터셋에서 무작위 초기화로부터 검출기를 훈련한다.
• MS COCO에서 성능을 추가로 향상시키기 위해 멀티스케일 테스트를 사용하며, 최신 기술 수준의 결과를 달성한다.
• MS COCO에서 훈련하고 PASCAL VOC에서 피니튜닝하는 방식으로 일반화 능력을 검증하여 강력한 전이 가능성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 사전 훈련 없이도 사전 훈련된 모델과 동등하거나 뛰어난 성능을 달성할 수 있는 객체 검출기가 무작위 초기화로부터 훈련될 수 있는가?
• RQ2 객체 검출에서 무작위 초기화로부터의 훈련을 안정화시키는 데 배치 정규화가 수행하는 역할은 무엇인가?
• RQ3 초기 레이어에서의 다운샘플링 전략 선택이 특히 소형 객체 검출 정확도에 미치는 영향은 무엇인가?
• RQ4 사전 훈련 없이도 공간 정보를 유지하고 검출 성능를 향상시킬 수 있도록 새로운 백본 아키텍처를 설계할 수 있는가?
• RQ5 MS COCO에서 무작위 초기화로부터 훈련하면, PASCAL VOC와 같은 후행 데이터셋에서의 성능 향상이 이루어지는가?

주요 결과

• 멀티스케일 테스트를 사용하여 PASCAL VOC 2007과 VOC 2012에서 각각 86.3% mAP를 달성하며, 사전 훈련 없이 훈련된 검출기 중 최신 기술 수준을 설정한다.
• MS COCO에서 ScratchDet300은 멀티스케일 테스트 기준 39.1% AP를 기록하며, 유사한 입력 크기를 갖는 다른 일괄 검출기들을 모두 능가한다.
• 이전 최신 기술 수준의 사전 훈련 없이 훈련된 방법인 GRP-DSOD320에 비해 MS COCO에서 AP를 2.7% 향상시켰다.
• MS COCO에서 소형 객체에 대해 13.0% AP를 기록하며, SSD321에 비해 6.8% 높은 성능를 보이며 강력한 소형 객체 검출 능력을 입증했다.
• 백본과 헤드 양쪽에 배치 정규화를 통합함으로써, VGGNet, ResNet 등 다양한 아키텍처에서 사전 훈련 없이도 안정적인 훈련이 가능하다.
• MS COCO에서 훈련하고 PASCAL VOC에서 피니튜닝하면 두 데이터셋 모두에서 최상의 mAP 점수를 기록하며, 모델의 강력한 일반화 능력과 전이 가능성(transferability)을 확인했다.