[논문 리뷰] CornerNet-Lite: Efficient Keypoint Based Object Detection

Hei Law, Yun Teng외 2명|arXiv (Cornell University)|2019. 04. 18.

Advanced Neural Network Applications참고 문헌 66인용 수 164

한 줄 요약

CornerNet-Lite는 CornerNet-Saccade와 CornerNet-Squeeze를 결합해 키포인트 기반 탐지의 효율성을 개선하고, COCO에서 이전 실시간 탐지기보다 경쟁력 있거나 더 나은 AP로 더 빠른 추론을 달성합니다.

ABSTRACT

Keypoint-based methods are a relatively new paradigm in object detection, eliminating the need for anchor boxes and offering a simplified detection framework. Keypoint-based CornerNet achieves state of the art accuracy among single-stage detectors. However, this accuracy comes at high processing cost. In this work, we tackle the problem of efficient keypoint-based object detection and introduce CornerNet-Lite. CornerNet-Lite is a combination of two efficient variants of CornerNet: CornerNet-Saccade, which uses an attention mechanism to eliminate the need for exhaustively processing all pixels of the image, and CornerNet-Squeeze, which introduces a new compact backbone architecture. Together these two variants address the two critical use cases in efficient object detection: improving efficiency without sacrificing accuracy, and improving accuracy at real-time efficiency. CornerNet-Saccade is suitable for offline processing, improving the efficiency of CornerNet by 6.0x and the AP by 1.0% on COCO. CornerNet-Squeeze is suitable for real-time detection, improving both the efficiency and accuracy of the popular real-time detector YOLOv3 (34.4% AP at 30ms for CornerNet-Squeeze compared to 33.0% AP at 39ms for YOLOv3 on COCO). Together these contributions for the first time reveal the potential of keypoint-based detection to be useful for applications requiring processing efficiency.

연구 동기 및 목표

• 앵커 없이 키포인트 기반 물체 탐지에서 속도-정확도 트레이드오프를 동기부여하고 해결한다.
• 오프라인 및 실시간 성능을 개선하기 위한 CornerNet의 두 가지 효율적 변형을 제안한다.
• 소수의 AP 손실 또는 심지어 이익으로도 눈에 띄게 속도를 높일 수 있는 주의집중(saccades)과 컴팩트 백본이 가능하다는 것을 입증한다.
• CornerNet-Lite를 COCO에서 YOLOv3 및 CornerNet과 비교 평가한다.
• 실시간 또는 근실시간 추론을 가능하게 하는 실용적인 학습 및 아키텍처 적응을 강조한다.

제안 방법

• Object 위치를 제안하기 위해 주의 기반 다운스케일 패스를 사용하는 CornerNet-Saccade를 도입하고, 이후 선택된 고해상도 자르기들을 병렬로 처리한다.
• SqueezeNet과 MobileNets에서 영감을 받은 컴팩트한 Hourglass 백본으로 per-pixel 계산을 줄이는 CornerNet-Squeeze를 개발한다.
• Saccade를 위해 깊이와 효율성의 균형을 맞추기 위해 Hourglass-54 백본을 사용한다.
• Soft-NMS와 경계 자름 억제(boundary-crop suppression)을 사용하여 부분 객체와 겹치는 자르기를 처리한다.
• 다 variants에 걸쳐 코너 열지도, 임베딩, 편향에 대한 동일한 CornerNet 손실로 학습한다.
• 일관된 하드웨어 구성에서 COCO에서 추론 시간과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 attention 기반의 saccade와 같은 메커니즘이 처리하는 픽셀 수를 감소시키면서 CornerNet의 정확도를 해치지 않는가?
• RQ2 컴팩트 백본(CornerNet-Squeeze)이 실시간 성능을 제공하면서 AP를 유지하거나 향상시킬 수 있는가?
• RQ3 CornerNet-Saccade와 CornerNet-Squeeze가 COCO에서 속도와 정확도 면에서 원래의 CornerNet 및 YOLOv3와 어떻게 비교되는가?
• RQ4 실시간 탐지에 대해 saccades와 초소형 백본을 결합하는 것이 이로운가 해로운가?
• RQ5 이 변형들에 대한 학습 효율성과 메모리 사용의 트레이드오프는 무엇인가?

주요 결과

Detector	Time	AP	AP^s	AP^m	AP^l	AP^att
CornerNet-Squeeze	30ms	34.4	13.7	36.5	47.4
YOLOv3	39ms	33.0	18.3	35.4	41.9
CornerNet (single)	211ms	40.6	19.1	42.8	54.3
CornerNet (multi)	1147ms	42.2	20.7	44.8	56.6
CornerNet-Saccade	190ms	43.2	24.4	44.6	57.3

• CornerNet-Saccade는 COCO에서 1% AP 증가로 6배 속도 향상을 달성( AP가 42.2%에서 43.2%로 상승 ).
• CornerNet-Squeeze는 30ms에서 34.4% AP를 달성하며 COCO에서 YOLOv3(39ms의 33.0%)를 능가한다.
• CornerNet-Lite는 오프라인 효율성을 개선하면서 높은 정확도를 유지하고, 실시간 성능을 경쟁력 있는 AP로 가능하게 한다.
• CornerNet-Saccade는 주의 맵을 여러 크기(소형, 중형, 대형) 객체 위치에 대해 예측하기 위해 축소된 이미지를 사용한다.
• 주의가 없는 결합된 CornerNet-Saccade-Squeeze는 용량 한계로 인해 성능이 떨어지며; saccades는 충분히 정확한 주의 맵이 필요하다.