[논문 리뷰] MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection

Xin Lu, Quanquan Li외 2명|arXiv (Cornell University)|2020. 09. 24.

Advanced Neural Network Applications참고 문헌 36인용 수 12

한 줄 요약

MimicDet는 공유 백본과 이중 헤드(한 명은 일단계, 한 명은 이단계)를 가진 단일 네트워크를 훈련시켜 높은 품질의 이단계 특징을 직접 모방함으로써, 일단계 및 이단계 검출기 간의 정확도 격차를 해소하는 새로운 일단계 객체 검출 프레임워크를 제안한다. ResNeXt-101-64×4d를 사용하여 COCO에서 46.1 mAP를 달성하며, 별도의 사전 훈련된 교사 네트워크 없이 엔드 투 엔드 훈련이 가능하여 최신 일단계 검출기들을 능가한다.

ABSTRACT

Modern object detection methods can be divided into one-stage approaches and two-stage ones. One-stage detectors are more efficient owing to straightforward architectures, but the two-stage detectors still take the lead in accuracy. Although recent work try to improve the one-stage detectors by imitating the structural design of the two-stage ones, the accuracy gap is still significant. In this paper, we propose MimicDet, a novel and efficient framework to train a one-stage detector by directly mimic the two-stage features, aiming to bridge the accuracy gap between one-stage and two-stage detectors. Unlike conventional mimic methods, MimicDet has a shared backbone for one-stage and two-stage detectors, then it branches into two heads which are well designed to have compatible features for mimicking. Thus MimicDet can be end-to-end trained without the pre-train of the teacher network. And the cost does not increase much, which makes it practical to adopt large networks as backbones. We also make several specialized designs such as dual-path mimicking and staggered feature pyramid to facilitate the mimicking process. Experiments on the challenging COCO detection benchmark demonstrate the effectiveness of MimicDet. It achieves 46.1 mAP with ResNeXt-101 backbone on the COCO test-dev set, which significantly surpasses current state-of-the-art methods.

연구 동기 및 목표

• 일단계 검출기의 효율성 이점에도 불구하고, 일단계 및 이단계 검출기 간의 지속적인 정확도 격차를 해소하기 위해.
• 기존 지식 정복에서 교사-학생 네트워크가 이질적이고 사전 훈련이 필요하다는 한계를 극복하기 위해.
• 별도의 별도의 교사 모델을 사전 훈련하지 않고도 이단계 특징을 직접 모방함으로써 일단계 검출기의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 큰 백본을 지원하고 높은 추론 속도를 유지하는 실용적이고 효율적인 프레임워크를 설계하기 위해.
• 일단계 검출기에서 발생하는 특징 불일치 및 클래스 불균형 문제를 구조적 및 특징 수준의 모방을 통해 해결하기 위해.

제안 방법

• 일단계(학생) 및 이단계(교사) 검출 헤드 모두에 공유 백본을 사용하여 공동 최적화를 가능하게 하고, 별도의 교사 모델을 사전 훈련할 필요를 제거한다.
• 이단계 헤드(T-헤드)는 큰 파라미터 수를 가지며, 희소한 제안에 대해 고품질의 위치 일致성 있는 특징을 추출하기 위해 RoIAlign 유사 연산을 사용한다.
• 일단계 헤드(S-헤드)는 모든 앵커 박스를 통해 밀도 있는 예측을 수행하여 효율성과 속도를 유지한다.
• 다른 제안 샘플링 전략으로 인한 공간적 불일치를 줄이기 위해 가이드된 변형 가능 컨벌루션을 사용하여 학생 및 교사 헤드 간의 특징을 정렬한다.
• 이중 경로 모방 및 단계적 특징 피라미드를 도입하여 특징 전달을 향상시키고 지식 정복의 정밀도를 향상시킨다.
• 공유 백본과 이중 헤드를 갖춘 통합 훈련 프레임워크는 추가적인 추론 비용 없이 엔드 투 엔드 훈련이 가능하며, ResNeXt-101과 같은 큰 백본의 효율적 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 별도의 교사 모델 없이도, 이단계 특징을 직접 모방함으로써 일단계 검출기가 이단계 수준의 정확도를 달성할 수 있는가?
• RQ2 지식 정복 과정에서 일단계 및 이단계 검출기 간의 특징 불일치를 효과적으로 완화할 수 있는가?
• RQ3 공유 백본과 이중 헤드를 갖춘 통합 훈련 프레임워크가 기존의 일단계 검출기보다 정확도는 높이고 추론 효율성은 유지할 수 있는가?
• RQ4 이중 경로 모방 및 단계적 특징 피라미드와 같은 아키텍처 구성 요소가 정복 성능에 미치는 영향은 무엇인가?
• RQ5 기존의 별도의 교사-학생 훈련을 요구하는 지식 정복 파이프라인과 비교해 볼 때, MimicDet의 훈련 효율성은 어떠한가?

주요 결과

• ResNeXt-101-64×4d를 사용하여 COCO test-dev에서 46.1 mAP를 달성하며, FCOS(43.2 mAP) 및 AlignDet(42.0 mAP)와 같은 최신 일단계 검출기들을 크게 능가한다.
• ResNet-101을 사용할 경우 44.4 mAP를 기록하며, 동일한 백본과 입력 크기에서 RetinaNet(39.1 mAP)과 FSAF(40.9 mAP)를 초월한다.
• 분리된 백본 기반 기준 대비 약 50%의 훈련 시간을 단축시켰으며, ResNet-101 기준 22시간(분리 훈련 대비 47시간)을 기록한다.
• 단일 TITAN V GPU에서 ResNet-50와 600px 입력을 사용할 경우 23 FPS, 38.7 mAP를 기록하며, ResNet-101과 800px 입력을 사용할 경우 13 FPS, 41.8 mAP를 기록한다.
• 속도-정확도 트레이드오프가 유리하다: 입력 크기를 600px에서 800px로 늘리면 mAP가 3.1 포인트(38.7에서 41.8) 향상되며, 지연 시간은 단지 19ms 증가할 뿐이다.
• 절단 분석 결과, 이중 경로 모방 및 단계적 특징 피라미드가 특징 불일치를 줄이고 제안 품질을 향상시켜 정복 성능을 크게 향상시킨다는 것이 확인되었다.