[논문 리뷰] Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

Thang Vu, Hyunjun Jang외 2명|arXiv (Cornell University)|2019. 09. 15.

Advanced Neural Network Applications인용 수 53

한 줄 요약

Cascade RPN은 단일 앵커, 다단계 영역 제안 네트워크와 적응형 합성곱을 통해 특징-앵커 정렬을 유지하며, 기존 RPN 대비 AR 및 mAP에서 상당한 이득을 달성하고 Fast/Faster R-CNN 검출기를 개선합니다.

ABSTRACT

This paper considers an architecture referred to as Cascade Region Proposal Network (Cascade RPN) for improving the region-proposal quality and detection performance by extit{systematically} addressing the limitation of the conventional RPN that extit{heuristically defines} the anchors and extit{aligns} the features to the anchors. First, instead of using multiple anchors with predefined scales and aspect ratios, Cascade RPN relies on a extit{single anchor} per location and performs multi-stage refinement. Each stage is progressively more stringent in defining positive samples by starting out with an anchor-free metric followed by anchor-based metrics in the ensuing stages. Second, to attain alignment between the features and the anchors throughout the stages, extit{adaptive convolution} is proposed that takes the anchors in addition to the image features as its input and learns the sampled features guided by the anchors. A simple implementation of a two-stage Cascade RPN achieves AR 13.4 points higher than that of the conventional RPN, surpassing any existing region proposal methods. When adopting to Fast R-CNN and Faster R-CNN, Cascade RPN can improve the detection mAP by 3.1 and 3.5 points, respectively. The code is made publicly available at \url{https://github.com/thangvubk/Cascade-RPN.git}.

연구 동기 및 목표

• 휴리스틱하게 정의된 앵커와 특징 간의 정렬 불일치에서 비롯된 기존 RPN의 한계를 해결한다.
• 위치당 하나의 앵커로 다단계 정밀화의 연쇄적 개량을 도입한다.
• 정제된 앵커와 샘플링된 특징들 간의 정렬을 유지하기 위한 적응형 합성곱을 제안한다.
• Fast R-CNN 및 Faster R-CNN와의 통합 시 상당한 영역 제안 AR 증가와 검출기 mAP 개선을 실증한다.

제안 방법

• 위치당 하나의 앵커를 사용하고, 단계별로 앵커 프리에서 앵커 기반으로 점진적으로 양성 샘플 기준을 강화한다.
• 현재 앵커에 의해 가이드되는 특징 샘플링을 수행하는 적응형 합성곱을 도입하여 단계 간 정렬을 보존한다.
• 단계별 샘플 구분 메트릭(초기 단계는 앵커 프리, 이후 단계는 IoU 기반)을 사용하여 양성 샘플을 정의한다.
• END-투-END 학습과 단계별 회귀와 전역 분류를 결합한 다중 작업 손실을 갖는 간단한 두단계 Cascade RPN을 제공한다.
• COCO 2017에서 학습 및 평가하여 이중 단계 검출기에 통합 시 AR 및 검출기 AP 이득을 측정한다.

실험 결과

연구 질문

• RQ1 위치당 하나의 앵커와 다단계 정제로 다중 앵커 RPN보다 영역 제안 품질이 우수할 수 있는가?
• RQ2 적응형 컨볼루션을 통해 앵커와 특징 간의 정렬을 강제하는 것이 더 높은 AR 및 탐지 성능을 낳는가?
• RQ3 단계 간 앵커-프리와 앵커-기반 샘플 구분이 제안 품질에 어떠한 상호 작용을 하 는가?
• RQ4 Cascade RPN을 Fast R-CNN 및 Faster R-CNN에 통합했을 때의 탐지 이득은 무엇인가?
• RQ5 Cascade 단계 수가 제안 품질과 속도에 미치는 영향은 무엇인가?

주요 결과

Method	AR 100	AR 300	AR 1000	AR S	AR M	AR L	Time (s)
SharpMask	36.4	-	48.2	-	-	-	0.76
GCN-NS	31.6	-	60.7	-	-	-	0.10
AttractioNet	53.3	-	66.2	31.5	62.2	77.7	4.00
ZIP	53.9	-	67.0	31.9	63.0	78.5	1.13
RPN	44.6	52.9	58.3	29.5	51.7	61.4	0.04
Iterative RPN	48.5	55.4	58.8	32.1	56.9	65.4	0.05
Iterative RPN+	54.0	60.4	63.0	35.6	62.7	73.9	0.06
GA-RPN	59.1	65.1	68.5	40.7	68.2	78.4	0.06
Cascade RPN	61.1	67.6	71.7	42.1	69.3	82.8	0.06

• Cascade RPN은 RPN 대비 AR 향상을 달성하며, 2단계 cascade가 기본 대비 AR 13.4 포인트 증가를 보인다.
• Cascade RPN을 Fast R-CNN 및 Faster R-CNN에 통합하면 각각 mAP 이득이 3.1 및 3.5 포인트이다.
• 적응형 합성곱은 정제된 앵커와 특징 간의 정렬을 보존하여 상당한 AR 이득에 기여하며(특히 AR 1000).
• 먼저 앵커 프리, 이후 단계에서 앵커 기반 샘플링의 조합이 최고의 AR 향상을 제공하며(유사한 제거 실험에서 단일 지표만 사용하면 큰 하락이 나타난다).
• Cascade RPN은 단순하고 엔드 투 엔드로 학습 가능한 접근법으로 COCO 2017에서 기존 영역 제안 방법과 경쟁하거나 이를 능가한다.