[논문 리뷰] Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

Thang Vu, Hyunjun Jang외 2명|arXiv (Cornell University)|2019. 09. 14.

Advanced Neural Network Applications참고 문헌 44인용 수 71

한 줄 요약

Cascade RPN은 단일 앵커, 다단계 지역 제안 네트워크를 도입하고 적응형 컨볼루션으로 정제된 앵커에 특징을 정렬하여 Fast/Faster R-CNN에 통합 시 제안 재현율과 검출 mAP에서 실질적인 이득을 얻습니다.

ABSTRACT

This paper considers an architecture referred to as Cascade Region Proposal Network (Cascade RPN) for improving the region-proposal quality and detection performance by \ extit{systematically} addressing the limitation of the conventional RPN that \ extit{heuristically defines} the anchors and \ extit{aligns} the features to the anchors. First, instead of using multiple anchors with predefined scales and aspect ratios, Cascade RPN relies on a \ extit{single anchor} per location and performs multi-stage refinement. Each stage is progressively more stringent in defining positive samples by starting out with an anchor-free metric followed by anchor-based metrics in the ensuing stages. Second, to attain alignment between the features and the anchors throughout the stages, \ extit{adaptive convolution} is proposed that takes the anchors in addition to the image features as its input and learns the sampled features guided by the anchors. A simple implementation of a two-stage Cascade RPN achieves AR 13.4 points higher than that of the conventional RPN, surpassing any existing region proposal methods. When adopting to Fast R-CNN and Faster R-CNN, Cascade RPN can improve the detection mAP by 3.1 and 3.5 points, respectively. The code is made publicly available at \\url{https://github.com/thangvubk/Cascade-RPN.git}.

연구 동기 및 목표

• 컨벤셔널 RPN이 앵커를 휴리스틱으로 정의하고 특징-앵커 정합이 암묵적으로 이루어지는 한계를 해결한다.
• 위치당 단일 앵커와 다단계 정제를 갖춘 Cascade RPN을 제안한다.
• 다단에서 정제된 앵커와 특징 간의 정합을 유지하기 위한 적응형 컨볼루션을 도입한다.
• COCO에서 AR 및 검출 성능(mAP)을 개선하고 Fast R-CNN/Faster R-CNN과의 통합 효과를 보여준다.

제안 방법

• 위치당 단일 앵커와 다단계 정제를 사용해 양성 샘플 정의를 점진적으로 강화한다(1단계는 앵커-프리, 이후 단계는 앵커 기반).
• 이미지 특징과 현재 앵커를 입력으로 받아 앵커에 의해 가이드된 샘플링 특징을 학습하는 적응형 컨볼루션을 도입한다(경량화된 RoIAlign으로 작동).
• 단계별로 진화하는 양성 샘플 기준을 정의한다(1단계는 중심- 영역 기반; 이후 단계는 IoU 기반).
• 다단의 회귀 손실과 최종 분류 손실을 합산하는 다중 작업 손실로 엔드투엔드 학습한다.
• 정렬 및 모든 구성요소에 대한 영향력을 자세히 보여주는 일시적/두 단계 Cascade RPN 베이스라인과 정렬(AF/AB 지표, 회귀 통계, IoU 손실)에 대한 상세한 차등 분석.

실험 결과

연구 질문

• RQ1 단일 앵커 per 위치의 Cascade RPN이 다중 앵커 RPN보다 더 높은 지역 제안 품질을 달성할 수 있는가?
• RQ2 적응형 컨볼루션을 통해 정제된 앵커와 특징 간의 정합을 강제하는 것이 제안 품질과 다운스트림 검출 성능에 어떤 영향을 주는가?
• RQ3 단계별로 앵커-프리에서 앵커-기반 샘플링 기준을 사용하는 것이 다양한 제안 한도에서 AR에 어떤 영향을 미치는가?
• RQ4 Cascade RPN을 Fast/Faster R-CNN에 통합했을 때 표준 RPN과 비교하여 mAP에 유의미한 개선이 있는가?

주요 결과

• 단계가 두 개인 Cascade RPN은 기존 RPN 대비 AR100/AR300/AR1000을 각각 16.5, 14.7, 13.4 포인트 상승시켰다.
• COCO val에서 Cascade RPN은 AR100 61.1, AR300 67.6, AR1000 71.7를 달성하며 0.06초의 시간으로 이전 방법을 능가한다.
• Cascade RPN을 Fast R-CNN 및 Faster R-CNN에 통합하면 각각 +3.1 및 +3.5 mAP를 달성한다.
• 정렬된 앵커와 특징 간의 정합을 맞추는 적응형 컨볼루션은 중요하며, 중심 정렬과 형태 정렬을 모두 결합할 때 상당한 이득을 가능하게 한다.
• 두 단계 Cascade RPN은 강한 이득을 제공하면서도 추론 시간을 합리적으로 유지한다(2단계가 대체로 최적의 트레이드-오프).
• Cascade R-CNN은 Cascade RPN과 함께 RPN 기반 파이프라인에 비해 AP(주로 AP75)가 향상된다.