[논문 리뷰] CenterNet: Object Detection with Keypoint Triplets

Kaiwen Duan, Song Bai외 4명|arXiv (Cornell University)|2019. 04. 17.

Advanced Neural Network Applications참고 문헌 35인용 수 66

한 줄 요약

CenterNet는 객체를 키포인트 쌍이 아닌 키포인트 트리플릿으로 모델링하고, 캐스케이드 코너 풀링 및 센터 풀링을 사용하여 특징 표현을 향상시킴으로써 키포인트 기반 검출을 개선하는 일단계 객체 검출 프레임워크를 제안한다. MS-COCO에서 47.0% AP를 기록하며 기존의 모든 일단계 검출기보다 뛰어난 성능을 보이며, 최상위 이단계 검출기 수준의 빠른 추론 속도를 유지한다.

ABSTRACT

In object detection, keypoint-based approaches often suffer a large number of incorrect object bounding boxes, arguably due to the lack of an additional look into the cropped regions. This paper presents an efficient solution which explores the visual patterns within each cropped region with minimal costs. We build our framework upon a representative one-stage keypoint-based detector named CornerNet. Our approach, named CenterNet, detects each object as a triplet, rather than a pair, of keypoints, which improves both precision and recall. Accordingly, we design two customized modules named cascade corner pooling and center pooling, which play the roles of enriching information collected by both top-left and bottom-right corners and providing more recognizable information at the central regions, respectively. On the MS-COCO dataset, CenterNet achieves an AP of extbf{47.0\%}, which outperforms all existing one-stage detectors by a large margin. Meanwhile, with a faster inference speed, CenterNet demonstrates quite comparable performance to the top-ranked two-stage detectors. Code is available at https://github.com/Duankaiwen/CenterNet.

연구 동기 및 목표

• 자르기된 객체 영역 내 특징 표현을 향상시켜 키포인트 기반 객체 검출기에서 잘못된 바운딩 박스 발생률을 낮추는 것.
• 계산 비용을 크게 증가시키지 않으면서도 일단계 객체 검출의 정밀도와 재현율을 향상시키는 것.
• 기존의 키포인트 기반 방법보다 객체 영역 내 시각 패턴을 더 효과적으로 활용할 수 있는 프레임워크를 설계하는 것.
• 이단계 검출기 수준의 성능을 달성하면서도, 일단계 검출기의 속도 우수성을 유지하는 것.

제안 방법

• CenterNet는 객체를 특정한 상단-좌측 모서리, 하단-우측 모서리, 중심 키포인트로 구성된 키포인트 트리플릿으로 모델링하여 객체의 정확한 국소화를 향상시킨다.
• 캐스케이드 코너 풀링을 도입하여 상단-좌측 및 하단-우측 모서리에서 특징을 통합함으로써 공간적 맥락을 풍부하게 한다.
• 센터 풀링을 설계하여 객체 중심 영역의 특징 표현을 강화함으로써 객체 중심의 인식을 향상시킨다.
• 기본 아키텍처로 코너넷을 사용하며, 트리플릿 기반 검출 및 전용 풀링 모듈을 추가하여 확장한다.
• 추가 계산 비용을 최소화한 단일 단계 검출기 구조를 사용하여 고속 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 객체를 키포인트 쌍이 아닌 키포인트 트리플릿으로 모델링하면 일단계 검출기의 정확도 향상에 기여할 수 있는가?
• RQ2 자르기된 객체 영역 내 시각 패턴을 어떻게 더 효과적으로 활용하여 거짓 긍정 바운딩 박스를 줄일 수 있는가?
• RQ3 캐스케이드 코너 풀링 및 센터 풀링과 같은 전용 풀링 모듈이 추론 비용을 증가시키지 않고도 특징 표현을 향상시킬 수 있는가?
• RQ4 트리플릿 기반 키포인트 검출을 사용하는 일단계 검출기가 이단계 검출기의 성능을 따라잡거나 초월할 수 있는가?

주요 결과

• CenterNet는 MS-COCO 데이터셋에서 47.0% AP를 기록하여 일단계 객체 검출기 중 최신 기준 성능을 달성한다.
• 제안된 키포인트 트리플릿 접근 방식은 코너넷과 같은 쌍 기반 키포인트 검출기 대비 정밀도와 재현율을 모두 향상시킨다.
• 캐스케이드 코너 풀링 및 센터 풀링의 추가로 객체 영역 내 특징 표현이 크게 향상된다.
• CenterNet는 빠른 추론 속도를 유지하여 최상위 이단계 검출기 수준의 성능을 보여준다.