[논문 리뷰] CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

Zhiwei Dong, Guoxuan Li외 4명|arXiv (Cornell University)|2020. 03. 20.

Advanced Neural Network Applications참고 문헌 39인용 수 29

한 줄 요약

CentripetalNet은 객체 검출에서의 코너 매칭 정확도를 향상시키기 위해 중심 방향 이동(centripetal shift)이라는 2차원 벡터를 사용하는 새로운 코너 매칭 방법을 제안한다. 이는 각 코너에서 바운딩 박스 중심으로 향하는 벡터로, 공간 기하학적 구조를 활용하여 매칭 정확도를 높인다. 중심 방향 이동을 통해 특징 적응을 향상시키기 위해 크로스 스타 변형 컨볼루션 모듈을 결합함으로써, MS-COCO test-dev에서 48.0% AP를 달성하여 모든 기존 앵커리스 검출기보다 뛰어나며, 40.2% MaskAP로 최신 인스턴스 세그멘테이션 모델과 동등한 성능을 보였다.

ABSTRACT

Keypoint-based detectors have achieved pretty-well performance. However, incorrect keypoint matching is still widespread and greatly affects the performance of the detector. In this paper, we propose CentripetalNet which uses centripetal shift to pair corner keypoints from the same instance. CentripetalNet predicts the position and the centripetal shift of the corner points and matches corners whose shifted results are aligned. Combining position information, our approach matches corner points more accurately than the conventional embedding approaches do. Corner pooling extracts information inside the bounding boxes onto the border. To make this information more aware at the corners, we design a cross-star deformable convolution network to conduct feature adaption. Furthermore, we explore instance segmentation on anchor-free detectors by equipping our CentripetalNet with a mask prediction module. On MS-COCO test-dev, our CentripetalNet not only outperforms all existing anchor-free detectors with an AP of 48.0% but also achieves comparable performance to the state-of-the-art instance segmentation approaches with a 40.2% MaskAP. Code will be available at https://github.com/KiveeDong/CentripetalNet.

연구 동기 및 목표

• 밀도 높거나 시각적으로 유사한 객체가 많은 상황에서 앵커리스 검출기에서 잘못된 키포인트 매칭 문제를 해결한다.
• 외곽선이나 유사한 외관에 민감한, 단지 외관에 의존하는 연관성 임베딩 기반 코너 매칭의 한계를 극복한다.
• 새로운 변형 컨볼루션 모듈을 통해 기하학적 구조와 맥락을 명시적으로 모델링하여 코너 위치에서의 특징 표현을 향상시킨다.
• 마스크 예측 헤드를 도입하여 앵커리스 검출기에서 엔드 투 엔드 인스턴스 세그멘테이션을 가능하게 하여 다중 작업 학습을 통한 검출 정확도 향상을 도모한다.

제안 방법

• 각 코너에서 바운딩 박스 중심으로 향하는 2차원 벡터인 중심 방향 이동을 도입하여, 코너 쌍 간의 기하학적 일관성 검사를 가능하게 한다.
• 이동된 위치의 정렬을 기반으로 코너를 매칭한다—두 코너의 이동된 중심이 가까운 경우, 동일한 인스턴스에 属한다.
• 코너 풀링 출력에서 '크로스 스타' 구조를 따라 특징을 샘플링하는 크로스 스타 변형 컨볼루션 모듈을 설계하여 기하학적 및 맥락적 특징 학습을 향상시킨다.
• 코너 풀링을 사용하여 객체 특징을 내부에서 바운딩 박스 경계로 전파함으로써 코너 위치에서의 구조 정보를 유지한다.
• RoIAlign과 마스크 헤드를 사용한 마스크 예측 헤드를 통합하여 앵커리스 검출기에서 엔드 투 엔드 인스턴스 세그멘테이션을 가능하게 한다.
• 표준 검출 및 세그멘테이션 손실을 사용하여 키포인트 분류, 중심 방향 이동 회귀, 마스크 예측을 조합한 방식으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 외관 기반 연관성 임베딩을 초월하여 기하학적 및 위치 정보를 활용해 코너 매칭을 향상시킬 수 있는가?
• RQ2 유사한 외관이나 밀도 높은 객체 상황에서 중심 방향 이동 기반 매칭이 연관성 임베딩에 비해 얼마나 더 강건한가?
• RQ3 코너 특징의 '크로스 스타' 구조를 활용하는 특화된 변형 컨볼루션 모듈이 키포인트 예측을 위한 특징 표현을 향상시킬 수 있는가?
• RQ4 인스턴스 세그멘테이션을 통한 다중 작업 학습이 앵커리스 객체 검출기의 성능을 얼마나 향상시키는가?
• RQ5 앵커 박스에 의존하지 않고도 앵커리스 검출기가 객체 검출과 인스턴스 세그멘테이션 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CentripetalNet은 MS-COCO test-dev에서 48.0% AP를 달성하여 모든 기존 앵커리스 검출기보다 뛰어나며, 이 분야에서 새로운 SOTA를 수립했다.
• 동일한 백본을 사용할 때, MS-COCO test-dev2017에서 CornerNet의 42.1%에서 CentripetalNet은 47.8%로 AP가 향상되어 중심 방향 이동의 효과를 입증했다.
• 크로스 스타 변형 컨볼루션은 표준 변형 컨볼루션과 RoI 컨볼루션보다 우수한 성능을 보였으며, 특징 적응 없이도 41.5% AP를 기록했고, $AP_M$는 44.1%를 달성했다.
• 마스크 예측 헤드를 추가하면 110 에포크 후 $AP_{bbox}$가 0.3% 향상되고 210 에포크 후에는 0.4% 향상되어, 다중 작업 학습이 중심 방향 이동 예측에 유익함을 보였다.
• CentripetalNet은 MS-COCO에서 40.2% MaskAP를 달성하여 최신 인스턴스 세그멘테이션 방법과 동등한 성능을 보였다.
• 정성적 결과 분석에서 CentripetalNet은 CornerNet에서 흔히 발생하는 가짜 양성 코너 쌍을 효과적으로 제거했고, CenterNet에서 발생하는 중심 검출 의존성 문제도 피했다.