[논문 리뷰] Object-Aware Centroid Voting for Monocular 3D Object Detection

Wentao Bao, Qi Yu외 1명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 1인용 수 5

한 줄 요약

이 논문은 투영 모델과 클래스별 높이 사전 지식을 사용하여 2D 영역 제안을 3D 공간으로 투영함으로써 밀도 높은 깊이 추정을 회피하는 엔드 투 엔드 단안 3D 객체 검출 방법을 제안한다. 객체 인식 투표 메커니즘을 도입하여 외관 주의 맵과 기하학적 투영 분포를 통합하여 3D 중심점 예측을 정밀하게 개선하며, 기존 단안 방법 대비 KITTI 벤치마크에서 3% 이상의 성능 향상을 달성한다.

ABSTRACT

Monocular 3D object detection aims to detect objects in a 3D physical world from a single camera. However, recent approaches either rely on expensive LiDAR devices, or resort to dense pixel-wise depth estimation that causes prohibitive computational cost. In this paper, we propose an end-to-end trainable monocular 3D object detector without learning the dense depth. Specifically, the grid coordinates of a 2D box are first projected back to 3D space with the pinhole model as 3D centroids proposals. Then, a novel object-aware voting approach is introduced, which considers both the region-wise appearance attention and the geometric projection distribution, to vote the 3D centroid proposals for 3D object localization. With the late fusion and the predicted 3D orientation and dimension, the 3D bounding boxes of objects can be detected from a single RGB image. The method is straightforward yet significantly superior to other monocular-based methods. Extensive experimental results on the challenging KITTI benchmark validate the effectiveness of the proposed method.

연구 동기 및 목표

• 비싼 LiDAR나 계산 비용이 큰 밀도 높은 깊이 추정을 피하는 단안 3D 객체 검출 프레임워크를 개발하는 것.
• 명시적인 깊이 감독 없이 기하학적 제약 조건과 외관 쌍을 활용하여 3D 위치 정확도를 향상시키는 것.
• RGB 이미지와 2D 영역 제안만을 사용하여 단안 3D 검출을 위한 엔드 투 엔드 학습을 가능하게 하는 것.
• 자율주행 환경에서 소형 3D 객체를 고정밀도로 검출하는 과제를 해결하는 것.

제안 방법

• 핀홀 카메라 모델과 클래스별 3D 높이 사전 지식을 사용하여 2D 영역 관심(ROI) 격자 좌표를 3D 공간으로 투영하여 초도 3D 중심점 제안을 생성한다.
• 외관 주의 맵(AAM)과 기하학적 투영 분포(GPD)를 함께 학습하는 객체 인식 투표 메커니즘을 도입하여 3D 중심점 예측을 정밀하게 개선한다.
• 이미지 특징과 기하학적 단서를 후기 융합하여 잔차 3D 위치 오프셋을 예측함으로써 잔차 학습을 통해 정밀도를 향상시킨다.
• 투표된 중심점 제안에서 최종 3D 경계 상자 좌표를 회귀하기 위해 작은 완전 연결층을 3D 위치 예측 헤드로 활용한다.
• ROI 풀링에서 유도된 영역별 특징을 활용하여 3D 위치 예측을 감독함으로써 일반화 능력과 강인성을 향상시킨다.
• 3D 중심 추론 및 투표 모듈을 두 단계 검출기 내에 통합한 기울기 가능하고 엔드 투 엔드 학습 가능한 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 밀도 높은 픽셀 단위 깊이를 학습하지 않고도 단일 RGB 이미지에서 3D 객체 검출을 효과적으로 수행할 수 있는가?
• RQ2 기하학적 투영 분포와 외관 쌍을 함께 활용하여 3D 중심점 정밀도를 향상시킬 수 있는가?
• RQ3 외관 및 기하학적 사전 지식을 갖춘 객체 인식 투표가 허위 LiDAR나 깊이 추정에 의존하는 방법보다 우월한가?
• RQ4 이미지 및 기하학적 특징의 후기 융합이 3D 위치 정확도 향상에 얼마나 기여하는가?
• RQ5 기존 단안 검출기 대비 제안된 방법이 소형 또는 먼 거리에 있는 3D 객체에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 벤치마크에서 BEV AP 51.23% (IoU=0.5) 및 20.65% (IoU=0.7)를 달성하여 A3DODWTDA 대비 3% 이상 향상된 성능을 보였다.
• 외관 주의 맵(AAM) 투표 모듈을 제거할 경우 성능 저하가 심각하게 발생하여, 이 모듈이 정밀도 향상에 핵심적인 역할을 함을 확인하였다.
• 기하학적 투영 분포(GPD) 투표 기여는 모든 IoU 임계치 및 곤란 수준에서 일관되게 3% 이상 3D AP 향상에 기여하였다.
• 이미지 및 기하학적 특징의 후기 융합은 성능을 1.5~2% 향상시켜 잔차 3D 위치 오프셋 학습의 효과성을 입증하였다.
• 3D 위치 예측 헤드를 단순한 중심점 제안 평균값으로 대체할 경우 성능 저하가 발생하여, 학습된 FC 층이 더 효과적임을 보였다.
• 멀리 떨어진 물체(40m 이상)에 대해서도 정확한 위치 정확도를 달성했지만, 방향 예측은 여전히 정확도가 낮았다.