[논문 리뷰] MFPN: A Novel Mixture Feature Pyramid Network of Multiple Architectures for Object Detection

Tingting Liang, Yongtao Wang외 4명|arXiv (Cornell University)|2019. 12. 20.

Advanced Neural Network Applications참고 문헌 24인용 수 10

한 줄 요약

이 논문은 다중 척도 객체 검출을 향상시키기 위해 상향식, 하향식, 융합-분할 FPN 아키텍처를 병렬 다중 브랜치 구조로 통합한 새로운 혼합 특징 피라미드 네트워크인 MFPN을 제안한다. 세 가지 다른 FPN 유형의 특징을 융합함으로써 MFPN은 지연 시간 증가가 최소한이면서 MS-COCO에서 평균 정밀도를 약 2% 향상시켜 소형, 중형, 대형 객체 전반에 걸쳐 검출 성능을 크게 향상시킨다.

ABSTRACT

Feature pyramids are widely exploited in many detectors to solve the scale variation problem for object detection. In this paper, we first investigate the Feature Pyramid Network (FPN) architectures and briefly categorize them into three typical fashions: top-down, bottom-up and fusing-splitting, which have their own merits for detecting small objects, large objects, and medium-sized objects, respectively. Further, we design three FPNs of different architectures and propose a novel Mixture Feature Pyramid Network (MFPN) which inherits the merits of all these three kinds of FPNs, by assembling the three kinds of FPNs in a parallel multi-branch architecture and mixing the features. MFPN can significantly enhance both one-stage and two-stage FPN-based detectors with about 2 percent Average Precision(AP) increment on the MS-COCO benchmark, at little sacrifice in running time latency. By simply assembling MFPN with the one-stage and two-stage baseline detectors, we achieve competitive single-model detection results on the COCO detection benchmark without bells and whistles.

연구 동기 및 목표

• 기존 FPN 아키텍처의 한계를 분석함으로써 객체 검출에서 척도 변동성을 다루는 것.
• 소형, 대형, 중형 객체 검출에 최적화된 세 가지 전용 FPN 유형—상향식, 하향식, 융합-분할—을 설계하는 것.
• 모든 세 가지 FPN 유형의 장점을 통합하여 개선된 다중 척도 특징 학습을 위한 통합된 혼합 특징 피라미드 네트워크(MFPN)를 제안하는 것.
• 추론 지연 시간을 증가시키지 않고도 단일 단계 및 이중 단계 검출기 모두에서 일관된 성능 향상을 달성하는 것.

제안 방법

• 소형 객체 검출을 향상시키기 위해 고수준 의미 정보를 저수준 특징에 통합하는 상향식 FPN을 설계한다.
• 대형 객체 검출을 강화하기 위해 저수준 공간 세부 정보를 고수준 특징에 통합하는 하향식 FPN을 제안한다.
• 중형 객체 검출을 향상시키기 위해 고수준 및 저수준 특징을 먼저 융합한 후 다중 척도 출력으로 분할하는 융합-분할 FPN을 도입한다.
• 각 브랜치가 세 가지 FPN 유형 중 하나를 구현하는 병렬 다중 브랜치 아키텍처로 MFPN을 구성함으로써 브랜치 간 특징 혼합을 가능하게 한다.
• 세 브랜치의 출력을 요소별 덧셈 또는 연결을 통해 융합하여 통합된 풍부한 특징 피라미드를 형성한다.
• 추론 오버헤드를 최소한으로 유지하면서 MFPN을 단일 단계(예: RetinaNet) 및 이중 단계(예: Faster R-CNN, Cascade Mask R-CNN) 검출기와 통합한다.

실험 결과

연구 질문

• RQ1 다른 특징 흐름 패턴을 가진 여러 FPN 아키텍처를 결합하면 단일 아키텍처 FPN보다 다중 척도 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 상향식, 하향식, 융합-분할 FPN을 병행하는 다중 브랜치 설계가 전통적인 FPN보다 더 나은 특징 표현을 이끌어낼 수 있는가?
• RQ3 MFPN은 소형, 중형, 대형 객체 카테고리 전반에 걸쳐 동시에 얼마나 높은 검출 정확도 향상을 달성할 수 있는가?
• RQ4 MFPN은 지연 시간 증가 없이도 복잡한 훈련 전략을 요구하지 않고도 상당한 AP 향상을 달성할 수 있는가?

주요 결과

• MFPN은 추론 지연 시간 증가 없이 RetinaNet-ResNeXt-101의 평균 정밀도(AP)를 2.1% 향상시켰다.
• MFPN은 단지 8ms의 지연 시간 증가로 Cascade Mask R-CNN-ResNet101의 AP를 1.6% 향상시켰다.
• 상향식 FPN은 소형 객체에 대해 가장 높은 AP(15.2)를 기록했고, 하향식 FPN은 대형 객체에 대해 가장 높은 AP(48.7)를 기록했으며, 융합-분할 FPN은 중형 객체에 대해 가장 높은 AP(38.5)를 기록했다.
• 단일 RetinaNet 모델을 사용하여 MFPN은 MS-COCO test-dev에서 43.4 AP를 달성하여 모든 다른 단일 단계 검출기보다 뛰어났다.
• 단일 Cascade Mask R-CNN 모델을 사용하여 MFPN은 MS-COCO test-dev에서 47.6 AP를 달성하여 이미지 피라미드 훈련 및 테스트를 사용하는 SNIPER 및 TridentNet과 같은 방법들을 능가했다.
• 시각화 결과 MFPN이 표준 FPN보다 모든 객체 척도에서 더 깔끔하고 정확한 특징 반응을 학습하는 것으로 확인되었다.