[논문 리뷰] Cascade RetinaNet: Maintaining Consistency for Single-Stage Object Detection

Hongkai Zhang, Hong Chang외 3명|arXiv (Cornell University)|2019. 07. 16.

Advanced Neural Network Applications참고 문헌 35인용 수 50

한 줄 요약

Cas-RetinaNet은 증가하는 IoU 임계값과 피처 일관성 모듈을 갖춘 연쇄 단일 단계 검출기를 도입하여 RetinaNet 대비 COCO에서 일관된 AP 이득을 얻으며 (예: 39.1에서 41.1 AP).

ABSTRACT

Recent researches attempt to improve the detection performance by adopting the idea of cascade for single-stage detectors. In this paper, we analyze and discover that inconsistency is the major factor limiting the performance. The refined anchors are associated with the feature extracted from the previous location and the classifier is confused by misaligned classification and localization. Further, we point out two main designing rules for the cascade manner: improving consistency between classification confidence and localization performance, and maintaining feature consistency between different stages. A multistage object detector named Cas-RetinaNet, is then proposed for reducing the misalignments. It consists of sequential stages trained with increasing IoU thresholds for improving the correlation, and a novel Feature Consistency Module for mitigating the feature inconsistency. Experiments show that our proposed Cas-RetinaNet achieves stable performance gains across different models and input scales. Specifically, our method improves RetinaNet from 39.1 AP to 41.1 AP on the challenging MS COCO dataset without any bells or whistles.

연구 동기 및 목표

• 연쇄 접근 방식의 단일 단계 검출기에 대한 주요 한계, 특히 분류와 로컬라이제이션 간의 불일치 및 단계 간 피처 불일치를 식별한다.
• (a) 분류 신뢰도와 로컬라이제이션 품질의 정렬 및 (b) 단계 간 피처 일관성 유지라는 design rules를 제안하여 연쇄 단일 단계 검출기를 개선한다.
• Sequential 단계와 새로운 Feature Consistency Module (FCM)을 갖춘 Cas-RetinaNet을 개발한다.
• 백본과 입력 스케일에 따른 MS COCO 상의 성능 향상을 입증하고, 단계 수와 추론 비용 간의 트레이드오프를 분석한다.

제안 방법

• 점진적으로 더 높은 IoU 임계값을 갖는 단계를 추가하여 분류 대상과 로컬라이제이션 품질의 정렬을 달성하는 연쇄 단일 단계 검출기를 제안한다.
• Feature Consistency Module을 도입하여 위치 오프셋을 학습하고 변형 가능한 컨볼루션으로 피처를 Refinement된 앵커 위치에 맞게 조정한다.
• 단계별로 L^i의 합으로 구성된 손실 L을 사용해 학습하며, 양성은 단계별 IoU 임계값으로 결정한다.
• 추론 시 다중 연쇄 단계의 분류 점수를 평균내어 견고성을 높인다.
• Cascade 및 FCM 개선을 격리하기 위해 RetinaNet과 일치하는 경량 헤드 구조를 유지한다.

실험 결과

연구 질문

• RQ1 연쇄형과 같은 단일 단계 검출기가 영역 기반 제안 없이 탐지 성능을 향상시킬 수 있는가?
• RQ2 연쇄 설정에서 분류 신뢰도를 실제 로컬라이제이션 품질과 어떻게 정렬할 수 있는가?
• RQ3 Feature Consistency Module을 통해 연쇄 단계 간 피처를 적응시키면 불일치를 줄이고 정확도를 향상시킬 수 있는가?
• RQ4 정확도와 속도 사이의 균형을 위한 최적의 연쇄 단계 수는 무엇인가?

주요 결과

• Cas-RetinaNet은 COCO에서 RetinaNet 대비 일관된 AP 이득을 얻는다(예: RetinaNet의 39.1 AP에서 Cas-RetinaNet의 41.1 AP으로, ResNet-101 및 800 입력으로 test-dev 기준).
• 후속 단계의 Foreground IoU 임계값을 높이면 높은 IoU 성능(AP90)이 개선되며, 낮은 IoU AP에는 약간의 영향만 미친다; 두 단계의 연쇄가 좋은 트레이드오프를 제공한다.
• Feature Consistency Module은 백본과 입력 스케일 전반에서 AP를 약 1포인트 정도 일관되게 개선한다(예: ResNet-50 600→600: 34.4→35.5; 800: 36.1→37.1).
• 두 개의 연쇄 단계를 가진 Cas-RetinaNet이 실험에서 전반적인 최적 트레이드오프를 달성한다(표 3).
• 최첨단 검출기와 비교할 때 Cas-RetinaNet은 ResNet-101로 COCO test-dev에서 41.1 AP를 달성하며 bells and whistles 없이도 경쟁적이거나 우수한 결과를 얻는다(800 입력).
• 추론 속도는 약간의 오버헤드를 수반한다(예: 800 입력에서 한 단계의 추가로 Cas-RetinaNet은 약 10 FPS, RetinaNet은 약 12.5 FPS 정도).