[논문 리뷰] CenterNet: Keypoint Triplets for Object Detection

Kaiwen Duan, Song Bai외 4명|arXiv (Cornell University)|2019. 04. 17.

Advanced Neural Network Applications참고 문헌 45인용 수 164

한 줄 요약

CenterNet는 각 객체를 중심(center), 좌상단, 우하단의 삼각 포인트로 검출하고 중심 풀링 및 cascade 코너 풀링으로 오탐을 줄여 COCO에서 단일 스테이지 AP를 최첨단으로 끌어올리며(47.0) 다른 방법과의 결과도 경쟁력 있게 제시합니다.

ABSTRACT

In object detection, keypoint-based approaches often suffer a large number of incorrect object bounding boxes, arguably due to the lack of an additional look into the cropped regions. This paper presents an efficient solution which explores the visual patterns within each cropped region with minimal costs. We build our framework upon a representative one-stage keypoint-based detector named CornerNet. Our approach, named CenterNet, detects each object as a triplet, rather than a pair, of keypoints, which improves both precision and recall. Accordingly, we design two customized modules named cascade corner pooling and center pooling, which play the roles of enriching information collected by both top-left and bottom-right corners and providing more recognizable information at the central regions, respectively. On the MS-COCO dataset, CenterNet achieves an AP of 47.0%, which outperforms all existing one-stage detectors by at least 4.9%. Meanwhile, with a faster inference speed, CenterNet demonstrates quite comparable performance to the top-ranked two-stage detectors. Code is available at https://github.com/Duankaiwen/CenterNet.

연구 동기 및 목표

• 내부 객체 영역 패턴을 활용하여 단일 스테이지 키포인트 기반 객체 탐지기의 개선을 추진한다.
• CornerNet을 확장하여 중심 키포인트를 도입하고 이를 통해 강인한 객체 표현을 위한 키포인트 삼중구성을 형성한다.
• 중심 풀링과 cascade corner pooling을 통해 모서리 및 중심 특징을 강화하여 정밀도와 재현율을 향상시킨다.
• MS-COCO에서 CenterNet을 평가하여 객체 규모에 따른 AP와 AR의 향상을 정량화하고 최신 검출기와 비교한다.

제안 방법

• 각 객체를 중심 키포인트 하나와 모서리 한 쌍으로 구성된 삼중체로 표현한다.
• CornerNet과 같이 임베딩과 오프셋으로 중심 히트맵과 모서리 히트맵을 예측한 후 모서리 쌍으로 바운딩 박스를 형성한다.
• 제안된 각 바운딩 박스에 대해 스케일 인식 중심 영역을 정의하고, 이 영역 내에 동일 클래스의 중심 키포인트가 존재할 것을 요구하여 박스를 검증한다.
• 가로 및 세로 방향의 최대 응답을 모아 중심 키포인트를 강화하는 중심 풀링을 도입한다.
• 경계 방향과 내부 방향의 최대 응답을 결합하여 모서리 특징을 풍부하게 하는 계단식 코너 풀링을 도입한다.
• 코너와 중심에 대한 focal 손실, 풀/푸시 임베딩 손실, 오프셋 손실 등 다항식 학습으로 학습하고, 추론 시 중심 검증과 비최대 억제(NMS)를 수행한다.

실험 결과

연구 질문

• RQ1 중심 영역 내의 중심 키포인트가 코너 기반 객체 탐지의 정확성을 향상시킬 수 있는가?
• RQ2 중심 풀링과 계단식 코너 풀링으로 중심 및 코너 정보를 강화하면 COCO에서 AP와 AR이 향상되는가?
• RQ3 CenterNet은 MS-COCO에서 CornerNet 및 다른 최첨단 검출기와 비교하여 어떤 성능을 보이는가?
• RQ4 스케일 인식 중심 영역이 작은 객체와 큰 객체의 탐지에 미치는 영향은 무엇인가?

주요 결과

방법	백본	학습 입력	테스트 입력	AP	AP 50	AP 75	AP S	AP M	AP L	AR 1	AR 10	AR 100	AR S	AR M	AR L
CornerNet511-52	Hourglass-52	511×511	ori.	37.8	53.7	40.1	17.0	39.0	50.5	33.9	52.3	57.0	35.0	59.3	74.7
CornerNet511-104	Hourglass-104	511×511	ori.	40.5	56.5	43.1	19.4	42.7	53.9	35.3	54.3	59.1	37.4	61.9	76.9
CornerNet511 (multi-scale)	Hourglass-52	511×511	<=1.5×	39.4	54.9	42.3	18.9	41.2	53.5	35.0	53.5	57.7	36.1	60.1	75.1
CornerNet511 (multi-scale)	Hourglass-104	511×511	<=1.5×	42.1	57.8	45.3	20.8	44.8	56.7	36.4	55.7	60.0	38.5	62.7	77.4
CenterNet511-52	Hourglass-52	511×511	ori.	41.6	59.4	44.2	22.5	43.1	54.1	34.8	55.7	60.1	38.6	63.3	76.9
CenterNet511-104	Hourglass-104	511×511	ori.	44.9	62.4	48.1	25.6	47.4	57.4	36.1	58.4	63.3	41.3	67.1	80.2
CenterNet511 (multi-scale)	Hourglass-52	511×511	<=1.8×	43.5	61.3	46.7	25.3	45.3	55.0	36.0	57.2	61.3	41.4	64.0	76.3
CenterNet511 (multi-scale)	Hourglass-104	511×511	<=1.8×	47.0	64.5	50.7	28.9	49.9	58.9	37.5	60.3	64.8	45.1	68.3	79.7

• CenterNet은 CenterNet102/104 백본과 다중 스케일 테스트로 COCO test-dev에서 47.0% AP를 달성하여 현존하는 모든 단일 스테이지 탐지기보다 최소 4.9% AP 앞선다.
• CenterNet은 CornerNet에 비해 작은 객체에서 특히 잘못된 바운딩 박스(false discovery)를 감소시킨다.
• center pooling 및 cascade corner pooling을 적용한 CenterNet은 CornerNet 기준보다 AP와 AR이 향상되며, 백본과 스케일에 따라 작은 객체와 큰 객체에서 더 큰 이득이 있다.
• 스케일 인식 중심 영역은 작은 박스의 재현율을 높이고 큰 박스의 정밀도를 유지한다.
• Hourglass-104 백본의 단일 스케일 AP는 44.9%(단일 스케일) 및 47.4%(다중 스케일)이고, Hourglass-104의 다중 스케일 CenterNet은 47.0% AP로 최상위 두 단계(detectors)와 경쟁한다.
• 추론 속도는 270–340 ms per image로 여전히 실용적이며 기준치 대비 정확도가 크게 향상된다.