[논문 리뷰] RepPoints: Point Set Representation for Object Detection

Ze Yang, Shaohui Liu외 3명|arXiv (Cornell University)|2019. 04. 25.

Advanced Neural Network Applications참고 문헌 55인용 수 146

한 줄 요약

RepPoints는 물체를 모델링하기 위해 학습 가능한 대표 점 집합을 도입하여 앵커 없는 검출기(RPDet)가 COCO에서 앵커 기반 방법과 동일하거나 더 우수한 성능을 보이도록 하며, 다중 스케일에서 강한 결과를 얻습니다.

ABSTRACT

Modern object detectors rely heavily on rectangular bounding boxes, such as anchors, proposals and the final predictions, to represent objects at various recognition stages. The bounding box is convenient to use but provides only a coarse localization of objects and leads to a correspondingly coarse extraction of object features. In this paper, we present extbf{RepPoints} (representative points), a new finer representation of objects as a set of sample points useful for both localization and recognition. Given ground truth localization and recognition targets for training, RepPoints learn to automatically arrange themselves in a manner that bounds the spatial extent of an object and indicates semantically significant local areas. They furthermore do not require the use of anchors to sample a space of bounding boxes. We show that an anchor-free object detector based on RepPoints can be as effective as the state-of-the-art anchor-based detection methods, with 46.5 AP and 67.4 $AP_{50}$ on the COCO test-dev detection benchmark, using ResNet-101 model. Code is available at https://github.com/microsoft/RepPoints.

연구 동기 및 목표

• 직사각형 경계 상자를 넘어서는 더 세밀한 객체 위치화 필요성에 대한 동기 부여.
• RepPoints를 물체를 경계하고 의미적으로 중요한 영역을 강조하는 학습 가능한 점의 집합으로 제안.
• RepPoints를 초기화, 정제 및 최종 위치화에 사용하는 앵커 없는 검출기(RPDet) 개발.
• 다중 스케일 학습/테스트 여부에 관계없이 RepPoints가 COCO에서 앵커 기반 탐지기와 동등하거나 더 우수한 성능을 보일 수 있음을 입증합니다.

제안 방법

• 객체를 4차원 경계 상자 대신 차별가능한 n개의 샘플 점으로 표현하는 RepPoints를 도입합니다.
• 예상된 오프셋을 통해 단계별로 RepPoints를 정제하여 객체 위치화를 더 촘촘하게 만듭니다.
• RepPoints를 감독 및 평가를 위한 미분 가능 변환으로 의사 상자(pseudo box)로 변환합니다.
• 로컬라이제이션 손실(의사 상자와 실제 정답 간 거리) 및 다음 검출 단계의 인식 손실을 결합하여 학습합니다.
• 임의 점에서 샘플링을 가능하게 하려면 변형 가능한 합성곱(Deformable Convolutions)과 RepPoints를 통합합니다.
• RepPoints 제안에서 중심점 초기화와 같은 앵커 없는 시작이 RepPoints 제안 및 최종 타깃으로 발전하도록 합니다.

실험 결과

연구 질문

• RQ1 RepPoints가 경계 상자보다 더 세밀한 위치화를 제공하면서 인식 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 RepPoints를 사용하는 앵커 없는 검출기(RPDet)가 COCO에서 최첨단 앵커 기반 탐지기와 경쟁력 있는가?
• RQ3 RepPoints 학습 감독(로컬라이제이션 + 인식)이 의미적으로 중요한 점의 배치에 어떤 영향을 주는가?
• RQ4 훈련 및 평가를 위한 RepPoints의 의사 상자 변환의 영향은 무엇인가?

주요 결과

표현	백본 네트워크	AP	AP_50	AP_75
경계 상자	ResNet-50	36.2	57.3	39.8
RepPoints (본 제안)	ResNet-50	38.3	60.0	41.1
경계 상자	ResNet-101	38.4	59.9	42.4
RepPoints (본 제안)	ResNet-101	40.4	62.0	43.6

• RPDet와 RepPoints는 COCO test-dev에서 42.8 AP를 달성하여 Cascade R-CNN과 동등하거나 기존의 앵커 없는 검출기보다 우수합니다.
• 다중 스케일 학습 및 테스트를 사용하면 RPDet가 COCO test-dev에서 46.5 AP 및 67.4 AP50에 도달하여 이전 탐지기들을 능가합니다.
• 경계 상자를 RepPoints로 대체하면 경계 상자 기초선(36.2 AP vs ResNet-50로 38.3 AP)보다 향상됩니다.
• 중심점 초기화(특수한 RepPoints 케이스)가 앵커보다 더 나은 초기 물체 가설을 제공하여 성능이 더 높아집니다.
• RepPoints로 학습된 점들이 극단적이거나 의미 있는 키포인트에 집중되어 추가 감독 없이도 더 미세한 위치화를 가능하게 합니다.
• RepPoints 제안에 변형 가능한 RoI 풀링을 적용하면 추가 이득이 발생하여 변형 가능한 샘플링과 보완적으로 작용합니다.
• RepPoints에서 의사 상자(pseudo boxes)로의 다양한 미분 가능 변환 함수들은 비교적 동일한 성능을 보여 엔드-투-엔드 학습이 가능하게 합니다.