[논문 리뷰] CornerNet: Detecting Objects as Paired Keypoints

Hei Law, Jia Deng|arXiv (Cornell University)|2018. 08. 03.

Advanced Neural Network Applications참고 문헌 48인용 수 147

한 줄 요약

CornerNet은 한 네트워크로 코너 풀링과 연상 임베딩을 사용해 좌상단과 우하단의 쌍으로 객체를 검출하고, 앵커 박스 없이 COCO의 하나의 스테이지에서 강력한 결과를 달성합니다.

ABSTRACT

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network. By detecting objects as paired keypoints, we eliminate the need for designing a set of anchor boxes commonly used in prior single-stage detectors. In addition to our novel formulation, we introduce corner pooling, a new type of pooling layer that helps the network better localize corners. Experiments show that CornerNet achieves a 42.2% AP on MS COCO, outperforming all existing one-stage detectors.

연구 동기 및 목표

• 비효율성과 설계 복잡성으로 인해 단일 스테이지 탐지기에서 앵커 박스를 제거하는 것을 고무한다.
• 범주별 히트맷을 사용하여 객체를 한 쌍의 키포인트(좌상단과 우하단 모서리)로 검출하는 것을 제안한다.
• 지역 증거가 약한 경우 모서리 위치 추정을 개선하기 위한 코너 풀링을 도입한다.
• 동일 객체에 속하는 코너 쌍을 묶기 위한 연상 임베딩을 개발한다.
• MS COCO에서 최첨단의 하나의 스테이지 성능을 시연하고 핵심 구성요소의 분석 실험을 제공한다.]
• method:["카테고리당 좌상단 모서리용 히트맷과 우하단 모서리용 히트맷의 두 개를 예측한다.","탐지된 각 모서리에 대해 1D 임베딩을 예측하여 같은 물체의 쌍을 pull/push 손실로 묶는다.","다운샘플링 리매핑 후 모서리 위치를 정제하기 위한 코너 오프셋을 사용한다.","수평 및 수직 최대풀링으로 원거리 경계 정보를 집계하고 결과를 합산하는 코너 풀링을 제안한다.","히어스글래스(Hourglass) 네트워크를 백본으로 채택하고 히트맷, 임베딩, 오프셋에 대한 맞춤 예측 모듈을 사용한다.","초점 손실의 변형과 근처 음수를 가중치를 줄이기 위한 물체 의존 반경으로 학습한다."]
• research_questions:[

실험 결과

연구 질문

• RQ1 앵커 박스를 사용하는 대신 모서리 키포인트의 쌍으로 객체를 정확하게 검출할 수 있는가?
• RQ2 코너 풀링이 경계 상자 모서리의 위치 추정과 전반적인 검출 정확도를 향상시키는가?
• RQ3 동일 객체의 쌍 모서리를 올바르게 묶는 데 연상 임베딩의 효과는 어느 정도인가?
• RQ4 코너 오프셋 학습과 수정된 손실 항이 COCO 성능에 미치는 영향은 무엇인가?

주요 결과

Method	Backbone	AP	AP50	AP75	APs	APm	APl	AR1	AR10	AR100	ARs	ARm	ARl
CornerNet511 (single scale)	Hourglass-104	40.6	56.4	43.2	19.1	42.8	54.3	35.3	54.7	59.4	37.4	62.4	77.2
CornerNet511 (multi scale)	Hourglass-104	42.2	57.8	45.2	20.7	44.8	56.6	36.6	55.9	60.3	39.5	63.2	77.3
RetinaNet	ResNet-101	39.1	59.1	42.3	21.8	42.7	50.2	-	-	-	-	-	-
Cascade R-CNN (baseline)	ResNet-101	42.8	62.1	46.3	23.7	45.5	55.2	-	-	-	-	-	-

• 코너 풀링은 COCO 검증에서 AP를 약 2.0 포인트 크게 향상시킨다.
• 음수 위치에 대한 객체 의존 페널티 감소를 사용하면 고정 반경 전략보다 유의미한 AP 증가가 있다.
• 코너 풀링은 중형 및 대형 객체에서 작은 객체보다 성능 향상을 더 많이 제공합니다.
• Hourglass 백본이 코너 기반 예측과 함께 AP에서 FPN 기반 백본 및 앵커 박스 탐지기보다 성능이 우수하다.
• COCO test-dev에서 CornerNet은 모든 하나의 스테이지 탐지기를 능가하고 다수의 두 단계 탐지기와 경쟁한다.
• GT 히트맵만으로는 코너 검출이 주요 병목임을 시사하며, 실제 히트맵이 제공될 때 AP가 약 73.1에 이른다.