[논문 리뷰] RepPoints V2: Verification Meets Regression for Object Detection

Yihong Chen, Zheng Zhang외 4명|arXiv (Cornell University)|2020. 07. 16.

Advanced Neural Network Applications참고 문헌 32인용 수 70

한 줄 요약

RepPoints v2는 검증 작업을 회귀 기반 검출기에 보조 분기로 통합하여 위치 지정 및 탐지 정확도를 향상시키며, 단일 모델로 COCO에서 약 2.0 mAP 상승과 COCO test-dev에서 52.1 mAP를 달성합니다.

ABSTRACT

Verification and regression are two general methodologies for prediction in neural networks. Each has its own strengths: verification can be easier to infer accurately, and regression is more efficient and applicable to continuous target variables. Hence, it is often beneficial to carefully combine them to take advantage of their benefits. In this paper, we take this philosophy to improve state-of-the-art object detection, specifically by RepPoints. Though RepPoints provides high performance, we find that its heavy reliance on regression for object localization leaves room for improvement. We introduce verification tasks into the localization prediction of RepPoints, producing RepPoints v2, which provides consistent improvements of about 2.0 mAP over the original RepPoints on the COCO object detection benchmark using different backbones and training methods. RepPoints v2 also achieves 52.1 mAP on COCO exttt{test-dev} by a single model. Moreover, we show that the proposed approach can more generally elevate other object detection frameworks as well as applications such as instance segmentation. The code is available at https://github.com/Scalsol/RepPointsV2.

연구 동기 및 목표

• 검증이 회귀 기반 객체 검출기의 흐름에 지장을 주지 않으면서 개선을 가져올 수 있는지 탐색합니다.
• 회귀 기반 위치 지정을 보완하는 효과적인 검증 작업을 식별합니다(예: 모서리 검증, 박스 내 전경 확인).
• 검증 신호를 보조 분기로 통합하기 위한 일반적 융합 프레임워크를 제안합니다.
• COCO에서 백본 및 학습 방식에 걸친 RepPoints v2의 개선점을 시연합니다.
• 인스턴스 분할과 같은 다른 검출기 및 작업에의 일반화 가능성을 입증합니다.

제안 방법

• 주요 회귀 헤드의 측면 분기로서 보조 검증 분기(모서리 검증 및 박스 내 전경 검증)를 도입합니다.
• Explicit-corners 변형을 사용하여 RepPoints에서 두 모서리 점으로 경계 박스를 정의하고, 검증 신호와의 융합과의 호환성을 확보합니다.
• 1x1 임베딩 및 원소별 덧셈을 통해 메인 특징 맵과 함께 검증 출력을 융합하여 다중 작업 학습 및 특징 향상을 가능하게 합니다.
• 회귀 예측과 함께 검증 점수를 활용하여 모서리 위치를 다듬는 공동 추론을 적용합니다.
• 다중 작업 손실 L = L_RepPoints + λ1 L_corner + λ2 L_foreground로 학습하며, λ1=0.25 및 λ2=0.1.
• 융합 방법론을 FCOS 및 Dense RepPoints와 같은 다른 검출기 및 인스턴스 분할에도 확장하여 일반성을 보여줍니다.

실험 결과

연구 질문

• RQ1 검증 작업이 중간 표현에 지장을 주지 않으면서 회귀 기반 검출기와 효과적으로 통합될 수 있는가?
• RQ2 어떤 형태의 검증(모서리 기반, 박스 내 전경)이 위치 지정 및 탐지 성능을 최적으로 향상시키는가?
• RQ3 융합(다중 작업 학습, 특징 향상, 공동 추론)이 전체 이득에 어떻게 기여하는가?
• RQ4 RepPoints v2가 다른 검출기 및 인스턴스 분할과 같은 작업으로 이전될 수 있는가?

주요 결과

Method	methodology	backbone	AP	AP50	AP60	AP70	AP80	AP90
RetinaNet [16]	ver.+reg.	ResNeXt-101	40.0	60.9	56.4	48.7	35.8	14.6
CornerNet [13]	verification	HG-104	40.6	56.1	52.0	46.8	38.8	23.4
RepPoints* [30]	regression	ResNet-50	39.1	58.8	54.8	48.0	35.5	14.4
RepPoints v2	ver.+reg.	ResNet-50	41.0	59.9	55.9	49.1	37.2	18.5

• RepPoints v2는 서로 다른 백본과 학습 방식에서 원래의 RepPoints에 비해 COCO에서 약 2.0 mAP 향상을 달성합니다.
• RepPoints v2는 단일 ResNeXt-101-DCN 모델(다중 스케일 테스트 포함)로 COCO test-dev에서 52.1 mAP에 도달합니다.
• 모서리 검증만으로 약 1.4 mAP 이득을 제공하여 주로 더 높은 IoU(AP90)를 높이고 AP50은 거의 변하지 않으며, 전경 검증은 주로 낮은 IoU에서 약 0.5 mAP를 더합니다.
• 전체 RepPoints v2 융합(다중 작업, 특징 향상, 공동 추론)은 검증 모듈이 없는 기준선 대비 약 1.9 mAP의 전반적 향상을 제공합니다.
• 이 접근법을 FCOS에 적용하면 ResNet-50로 COCO test-dev에서 1.3 mAP 이득을 얻고, Dense RepPoints에서 검증을 포함한 Dense 마스크 AP가 COCO test-dev에서 1.3 증가합니다.