[논문 리뷰] M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network

Qijie Zhao, Tao Sheng외 5명|arXiv (Cornell University)|2018. 11. 12.

Advanced Neural Network Applications참고 문헌 30인용 수 13

한 줄 요약

M2Det는 객체 검출을 위한 깊이 있는 다중 스케일 특징을 생성하기 위해 다중 수준 백본 특징을 융합하고, 번갈아가며 적용되는 박 퇴화된 U자형 모듈(Thinned U-shape Modules, TUMs)과 특징 융합 모듈(Feature Fusion Modules, FFMv2s)을 사용하는 새로운 특징 피라미드 구성 방법인 다중 수준 특징 피라미드 네트워크(Multi-Level Feature Pyramid Network, MLFPN)를 제안한다. 각 스케일에서 다중 수준의 특징을 집계함으로써 M2Det는 다중 스케일 추론을 통해 MS-COCO에서 44.2의 SOTA(AP) 성능을 달성하며, 기존의 단일 스케일 검출기들을 능가한다.

ABSTRACT

Feature pyramids are widely exploited by both the state-of-the-art one-stage object detectors (e.g., DSSD, RetinaNet, RefineDet) and the two-stage object detectors (e.g., Mask R-CNN, DetNet) to alleviate the problem arising from scale variation across object instances. Although these object detectors with feature pyramids achieve encouraging results, they have some limitations due to that they only simply construct the feature pyramid according to the inherent multi-scale, pyramidal architecture of the backbones which are actually designed for object classification task. Newly, in this work, we present a method called Multi-Level Feature Pyramid Network (MLFPN) to construct more effective feature pyramids for detecting objects of different scales. First, we fuse multi-level features (i.e. multiple layers) extracted by backbone as the base feature. Second, we feed the base feature into a block of alternating joint Thinned U-shape Modules and Feature Fusion Modules and exploit the decoder layers of each u-shape module as the features for detecting objects. Finally, we gather up the decoder layers with equivalent scales (sizes) to develop a feature pyramid for object detection, in which every feature map consists of the layers (features) from multiple levels. To evaluate the effectiveness of the proposed MLFPN, we design and train a powerful end-to-end one-stage object detector we call M2Det by integrating it into the architecture of SSD, which gets better detection performance than state-of-the-art one-stage detectors. Specifically, on MS-COCO benchmark, M2Det achieves AP of 41.0 at speed of 11.8 FPS with single-scale inference strategy and AP of 44.2 with multi-scale inference strategy, which is the new state-of-the-art results among one-stage detectors. The code will be made available on \url{https://github.com/qijiezhao/M2Det.

연구 동기 및 목표

• 분류 최적화 백본에서 유도된 단일 수준 특징에 의존하는 기존 단일 단계 검출기의 한계를 해결하기 위해.
• 다중 수준 특징 융합을 통해 다양한 크기와 외관 복잡도를 가진 객체의 특징 표현을 향상시키기 위해.
• 각 스케일 수준이 다수의 백본 레이어에서 유래한 특징을 통합하도록 특징 피라미드를 설계하여 검출의 강건성을 향상시키기 위해.
• 우수한 속도-정확도 트레이드오프를 달성하는 엔드 투 엔드 단일 스탑 검출기 개발하기 위해.

제안 방법

• 백본에서 유도된 다중 수준 특징을 특징 융합 모듈(FFMv1)을 사용해 기반 특징 맵을 형성한다.
• 기반 특징을 번갈아가며 적용되는 박 퇴화된 U자형 모듈(TUMs)과 특징 융합 모듈(FFMv2s)의 블록을 통과시켜 깊이 있고 다중 스케일 특징을 추출한다.
• 각 TUM의 디코더 레이어를 다중 수준 다중 스케일 특징으로 사용하며, 디코더 레이어 간에 공통된 깊이를 유지한다.
• 스케일별 특징 집계 모듈(Scale-wise Feature Aggregation Module, SFAM)을 적용하여 동일한 스케일에서 다중 수준의 특징을 통합된 특징 피라미드로 통합한다.
• MLFPN을 SSD 프레임워크에 통합하여 엔드 투 엔드 M2Det 검출기 구축한다.
• 속도-정확도 성능 평가를 위해 다중 스케일 및 단일 스케일 추론 전략을 활용한다.

실험 결과

연구 질문

• RQ1 다중 수준, 다중 스케일 특징에서 구성된 특징 피라미드가 크기와 외관이 다양한 객체의 검출 정확도 향상에 기여하는가?
• RQ2 다양한 백본 수준에서 유도된 특징 융합이 단일 수준 특징 사용에 비해 표현 능력을 향상시키는가?
• RQ3 TUMs와 FFMv2s를 통한 깊이 있는 다중 수준 특징 추출 과정이 얕거나 단일 수준 특징 헤드보다 더 나은 검출 성능을 낼 수 있는가?
• RQ4 각 검출 스케일에서 다중 수준 특징을 통합함으로써 외관 복잡도 변화에 대한 대처 능력은 어떻게 향상되는가?
• RQ5 제안된 M2Det의 속도-정확도 트레이드오프는 기존의 SOTA 단일 단계 검출기들과 비교해 어떻게 되는가?

주요 결과

• 단일 스케일 추론에서 M2Det는 11.8 FPS 속도로 MS-COCO에서 41.0의 새로운 SOTA(AP) 성능을 달성한다.
• 다중 스케일 추론을 통해 M2Det는 MS-COCO 벤치마크에서 단일 단계 검출기 중 가장 높은 AP 44.2를 기록한다.
• 동일 하드웨어에서 SSD, RefineDet, CornerNet 대비 유의미하게 뛰어난 속도-정확도 트레이드오프를 보여준다.
• 시각화 결과는 모델이 크기 및 외관 복잡도 변화에 효과적인 특징을 학습하고 있으며, 적절한 스케일과 수준 조합에서 강한 활성화를 보임을 확인한다.
• 제거 분석 결과는 MLFPN 내 각 구성 요소의 효과성을 입증하며, 특히 다중 수준 집계와 깊은 디코더 특징의 기여가 두드러진다.
• 제안된 SFAM 모듈은 각 스케일에서 다중 수준 특징을 성공적으로 융합하여, 유사한 크기이지만 다른 외관을 가진 객체에 대한 검출 강건성을 향상시킨다.