[논문 리뷰] Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding

Yunlei Tang, Sebastian Dörn외 1명|arXiv (Cornell University)|2020. 05. 27.

Advanced Neural Network Applications참고 문헌 32인용 수 13

한 줄 요약

Center3D는 2D 중심에서 3D 중심을 직접 회귀함으로써 3D 중심을 추정하고, 분류와 회귀를 통합하여 깊이 추정을 강력하게 구현하는 일단계, 앵커 기반 아님 단일 영상 3D 객체 검출 프레임워크를 제안한다. KITTI의 중간 설정에서 42.8% BEV AP와 39.1% 3D AP를 달성하여 실시간 추론에서 최고의 속도-정확도 트레이드오프를 확립한다.

ABSTRACT

Localizing objects in 3D space and understanding their associated 3D properties is challenging given only monocular RGB images. The situation is compounded by the loss of depth information during perspective projection. We present Center3D, a one-stage anchor-free approach, to efficiently estimate 3D location and depth using only monocular RGB images. By exploiting the difference between 2D and 3D centers, we are able to estimate depth consistently. Center3D uses a combination of classification and regression to understand the hidden depth information more robustly than each method alone. Our method employs two joint approaches: (1) LID: a classification-dominated approach with sequential Linear Increasing Discretization. (2) DepJoint: a regression-dominated approach with multiple Eigen's transformations for depth estimation. Evaluating on KITTI dataset for moderate objects, Center3D improved the AP in BEV from $29.7\%$ to $42.8\%$, and the AP in 3D from $18.6\%$ to $39.1\%$. Compared with state-of-the-art detectors, Center3D has achieved the best speed-accuracy trade-off in realtime monocular object detection.

연구 동기 및 목표

• perspective projection로 인해 깊이 정보가 본질적으로 모호한 단일 영상 RGB 이미지에서 3D 객체 검출의 과제를 해결한다.
• 기존의 앵커 기반 또는 이단계 검출기의 한계를 극복하기 위해, 더 빠른 추론 속도와 효율성을 확보한 일단계, 앵커 기반 아님 접근 방식을 제안한다.
• 분류와 회귀를 함께 모델링하여 시각적 단서를 더 효과적으로 활용함으로써 깊이 추정 정확도를 향상시킨다.
• 앵커 기반 검출에서의 특징 맵 희소성 문제를 완화하기 위해 참조 영역(RA) 메커니즘을 도입하여 국소화 정확도를 향상시킨다.
• 특히 실시간 응용 분야에서 KITTI 벤치마크에서 3D 검출 정확도와 추론 속도 양면에서 최고의 성능을 달성한다.

제안 방법

• 2D 중심 예측에서 3D 객체 중심을 직접 회귀하기 위해 3D 오프셋 헤드를 사용하여 2D 중심과 3D 중심 간의 공간적 차이를 명시적으로 모델링한다.
• 두 가지 깊이 추정 헤드를 활용한다: LID(분류 중심)는 순차적 선형 증가 이산화를 사용하고, DepJoint(회귀 중심)는 Eigen의 변환과 함께 범주 기반 깊이 회귀를 사용한다.
• 사전 정의된 공간 영역 내에서 깊이 및 오프셋을 회귀함으로써 특징 맵의 희소성을 줄이고 국소화 정확도를 향상시키기 위해 참조 영역(RA) 메커니즘을 도입한다.
• 다중 척도 특징을 추출하기 위해 DLA-34 백본을 사용하고, 2D 히트맵, 2D 오프셋, 3D 오프셋, 깊이 예측을 위한 헤드를 이어가며 처리한다.
• 히트맵, 오프셋, 깊이에 대한 가중 손실을 사용한 다중 작업 학습을 적용하며, 예측된 3D 중심, 치수, 방향성, 깊이를 기반으로 3D 경계상자 회귀를 최적화한다.
• 분류(LID)와 회귀(DepJoint)를 통합한 공동 최적화 전략을 활용하여 깊이 추정을 위한 시각적 단서를 더 효과적으로 활용한다.

실험 결과

연구 질문

• RQ1 일단계, 앵커 기반 아님 검출기가 기존의 이단계 또는 앵커 기반 단일 영상 3D 검출기보다 정확도와 추론 속도 양면에서 뛰어나게 성능을 냈는가?
• RQ2 2D 중심에서 3D 중심으로의 명시적 오프셋 모델링은 공통 중심점을 가정하는 것보다 3D 국소화 성능을 어떻게 향상시키는가?
• RQ3 분류와 회귀를 함께 사용한 깊이 추정은 단독으로 사용할 경우보다 더 견고한 깊이 예측을 이끌어내는가?
• RQ4 참조 영역(RA) 메커니즘이 앵커 기반 아님 3D 검출에서 특징 희소성을 어느 정도 완화하고 성능 향상에 기여하는가?
• RQ5 범주 기반 분류와 회귀를 통합한 공동 깊이 추정이 KITTI와 같은 단일 영상 3D 검출 벤치마크에서 최고의 성능을 달성할 수 있는가?

주요 결과

• Center3D는 KITTI 중간 설정에서 BEV AP 42.8%와 3D AP 39.1%를 달성하여 기준 모델의 BEV AP 29.7%에서 크게 향상되었다.
• DepJoint와 RA를 포함한 모델(Center3D(+dj+ra))은 쉬운 객체에서 BEV AP 55.8%, 중간 객체에서 BEV AP 42.8%를 기록하여 단일 영상 3D 검출 분야에서 새로운 SOTA를 수립했다.
• RA 메커니즘은 중간 객체에서 BEV AP를 4.9% 향상시켜 35.3%에서 40.2%로 개선했고, 어려운 객체에서는 1.0% 향상시켜 33.0%에서 34.0%로 개선했으며, 희소 특징 영역에서의 효과를 입증했다.
• Center3D는 M3D-RPN보다 약 3배 빠른 추론 속도를 확보하면서도 유사한 3D 검출 성능을 유지하여 실시간 단일 영상 검출에서 최고의 속도-정확도 트레이드오프를 확립했다.
• DepJoint 접근 방식은 특히 겹치는 또는 관련 깊이 범주를 사용할 경우, 표준 Eigen의 변환 대비 손실 가중치 설정에 더 강인한 성능을 보였다.
• LID 접근 방식은 KITTI 데이터셋에서 객체 깊이의 통계 분포를 활용하여 순차적 선형 이산화를 통해 분류 기반 깊이 회귀의 정확도를 향상시켰다.