[논문 리뷰] Objects as Points

Xingyi Zhou, Dequan Wang외 1명|arXiv (Cornell University)|2019. 04. 16.

Advanced Neural Network Applications참고 문헌 59인용 수 739

한 줄 요약

이 논문은 축에 정렬된 바운딩 박스가 아닌 단일 중심점으로 객체를 모델링하는 새로운 객체 검출 프레임워크인 CenterNet을 제안한다. 중심점 예측을 위해 키포인트 추정을 사용하고, 크기, 3D 위치, 방향성 등의 객체 특성으로 회귀함으로써 CenterNet은 MS COCO에서 142 FPS에서 28.1% AP를 달성하고, 다중 척도 테스트 시 1.4 FPS에서 45.1% AP를 기록하며 최신 기술 수준의 속도-정확도 트레이드오프를 달성한다.

ABSTRACT

Detection identifies objects as axis-aligned boxes in an image. Most successful object detectors enumerate a nearly exhaustive list of potential object locations and classify each. This is wasteful, inefficient, and requires additional post-processing. In this paper, we take a different approach. We model an object as a single point --- the center point of its bounding box. Our detector uses keypoint estimation to find center points and regresses to all other object properties, such as size, 3D location, orientation, and even pose. Our center point based approach, CenterNet, is end-to-end differentiable, simpler, faster, and more accurate than corresponding bounding box based detectors. CenterNet achieves the best speed-accuracy trade-off on the MS COCO dataset, with 28.1% AP at 142 FPS, 37.4% AP at 52 FPS, and 45.1% AP with multi-scale testing at 1.4 FPS. We use the same approach to estimate 3D bounding box in the KITTI benchmark and human pose on the COCO keypoint dataset. Our method performs competitively with sophisticated multi-stage methods and runs in real-time.

연구 동기 및 목표

• 수많은 후보 바운딩 박스를 나열하는 전통적인 객체 검출기의 비효율성과 복잡성을 해결하기 위해.
• 각 객체를 바운딩 박스의 중심점으로 간주함으로써 계산 오버헤드를 줄이고 객체 검출을 단순화하기 위해.
• 후처리 단계를 제거하고 엔드 투 엔드 미분 가능한 학습을 가능하게 하여 추론 속도와 정확도를 향상시키기 위해.
• 중심점 파라다임을 3D 검출 및 인간 자세 추정으로 확장하여 광범위한 적용 가능성을 입증하기 위해.

제안 방법

• 검출기는 이미지 내 각 객체의 중심점을 예측하기 위해 키포인트 추정을 사용한다.
• 검출된 중심점 각각에 대해 네트워크는 너비, 높이, 3D 위치, 방향성, 키포인트 좌표 등의 객체 특성으로 회귀한다.
• 이 방법은 엔드 투 엔드로 미분 가능하여 중심점 예측과 회귀 헤드의 공동 최적화를 허용한다.
• 단일 스테이지 아키텍처로 영역 제안 네트워크나 비최대 억제(Non-Maximum Suppression)의 필요성을 제거한다.
• 다중 척도 특성 학습을 위해 피처 피라미드 네트워크와 아워가라운드 스타일의 백본을 활용한다.
• 회귀 헤드를 적절히 수정함으로써 KITTI에서의 3D 검출 및 COCO에서의 키포인트 추정에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 객체 검출이 객체 중심점 기반의 키포인트 추정 문제로 효과적으로 재정의될 수 있는가?
• RQ2 객체를 단일 점으로 모델링할 경우 기존의 박스 기반 검출기보다 더 빠른 추론 속도와 향상된 정확도를 달성할 수 있는가?
• RQ3 중심점 파라다임은 3D 객체 검출 및 인간 자세 추정 작업으로 일반화될 수 있는가?
• RQ4 MS COCO 및 KITTI에서 기존 최신 기술 수준의 검출기와 비교해 볼 때 제안된 방법의 속도-정확도 트레이드오프는 어떠한가?

주요 결과

• CenterNet는 MS COCO에서 142 FPS에서 28.1% AP를 달성하여 강력한 속도-정확도 트레이드오프를 보였다.
• 52 FPS에서 모델은 37.4% AP를 기록하여 유사한 추론 속도를 가진 많은 기존 검출기들을 능가했다.
• 다중 척도 테스트를 통해 CenterNet는 MS COCO에서 45.1% AP에 도달했으며, 더 복잡한 모델의 성능에 가까이 다가섰다.
• KITTI 벤치마크에서의 3D 검출에서 실시간 추론을 달성하며 경쟁적인 성능을 보였다.
• COCO 데이터셋에서 인간 키포인트 추정에서도 최신 기술 수준의 결과를 달성하면서도 실시간 추론을 유지했다.
• 엔드 투 엔드로 미분 가능한 설계로 비최대 억제와 같은 후처리 단계가 필요 없어졌다.