[논문 리뷰] DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

Siyuan Qiao, Liang-Chieh Chen외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced Neural Network Applications참고 문헌 88인용 수 155

한 줄 요약

DetectoRS는 Recursive Feature Pyramid와 Switchable Atrous Convolution을 결합하여 백본을 강화하고 객체 탐지, 인스턴스 분할, 팬오픽 분할에서 COCO의 최첨단 성능을 달성합니다.

ABSTRACT

Many modern object detectors demonstrate outstanding performances by using the mechanism of looking and thinking twice. In this paper, we explore this mechanism in the backbone design for object detection. At the macro level, we propose Recursive Feature Pyramid, which incorporates extra feedback connections from Feature Pyramid Networks into the bottom-up backbone layers. At the micro level, we propose Switchable Atrous Convolution, which convolves the features with different atrous rates and gathers the results using switch functions. Combining them results in DetectoRS, which significantly improves the performances of object detection. On COCO test-dev, DetectoRS achieves state-of-the-art 55.7% box AP for object detection, 48.5% mask AP for instance segmentation, and 50.0% PQ for panoptic segmentation. The code is made publicly available.

연구 동기 및 목표

• 객체 탐지를 위해 한 번 보고 생각하는 백본을Motivate하고 구현한다.
• 다중 스케일 표현을 풍부하게 하기 위한 피처 피라미드의 거시적 재귀를 개발한다.
• 스케일 간 수용영역에 적응하기 위한 미시적 Switchable Atrous Convolution을 도입한다.
• 탐지, 분할, 팬오픽 작업에서 COCO의 성능 향상을 입증한다.
• 사전 학습된 백본과 호환되는 플러그앤플레이 접근 방식을 제공한다.

제안 방법

• 상향식 FPN 계층에서 하향식 피드백을 추가하여 다중 패스 백본 표현을 생성하는 Recursive Feature Pyramid(RFP)를 제안한다.
• 여러 가지 atrous 비율로 특징을 컨볼루션하고 위치 의존 스위치를 통해 출력을 융합하는 Switchable Atrous Convolution(SAC)을 도입한다.
• RFP 특징을 백본으로 변환하고 융합하기 위한 연결 모듈로 ASPP를 사용한다.
• 언롤된 RFP 단계 간 특징을 업데이트하고 혼합하기 위한 융합 모듈을 적용한다.
• Backbone의 3x3 컨볼루션을 SAC로 대체하여 가중치 고정 체계로 사전 학습된 네트워크의 쉬운 변환을 가능하게 한다.
• RFP와 SAC를 HTC에 experimentally 통합하여 COCO에서 이득을 평가한다.

실험 결과

연구 질문

• RQ1 백본(RFP)의 피드백이 객체 탐지를 위한 다중 스케일 표현을 개선할 수 있는가?
• RQ2 Switchable Atrous Convolution(SAC)이 재학습 없이도 객체 규모 간 탐지를 개선할 수 있는가?
• RQ3 거시적(RFP)과 미시적(SAC) 설계의 결합이 표준 탐지기에 어떤 이점을 제공하는가?
• RQ4 RFP와 SAC가 COCO에서 경계 상자 탐지, 인스턴스 분할, 팬오픽 분할에 어떤 영향을 미치는가?

주요 결과

• RFP는 ResNet-50 기반에서 상자 AP를 42.0에서 46.2로 향상시켰다.
• SAC는 ResNet-50에서 46.3의 상자 AP를 달성하여 미시적 측면의 강력한 이점을 보여준다.
• RFP + SAC를 결합한 DetectoRS(ResNeXt-101-64x4d)는 COCO test-dev에서 상자 AP 55.7%, 마스크 AP 48.5%를 달성했다.
• DetectoRS는 (ResNeXt-101-64x4d와 함께) COCO test-dev에서 상자 AP 55.7% 및 마스크 AP 48.5%의 최첨단 성능을 달성하고 팬오픽 분할의 PQ 50.0을 기록한다.
• RFP+SAC은 HTC 기준과 비교해 학습 수렴 속도 및 손실 감소 측면에서도 주목할 만한 개선을 보인다.
• 시각화 결과 학습된 스위치가 대상의 스케일과 정렬되며 SAC가 큰 물체에 대해 수용영역을 증가시킨다.