[논문 리뷰] Object Viewpoint Classification Based 3D Bounding Box Estimation for Autonomous Vehicles

Zhou Lingtao, Jiaojiao Fang외 1명|arXiv (Cornell University)|2019. 09. 03.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 객체의 시점(뷰포인트)을 16개의 이산 카테고리로 분류하고, 다중 브랜치 컨볼루션 네트워크에 시점 분류기를 통합함으로써 자율주행 차량을 위한 시점 인식 3D 경계상자 추정 방법을 제안한다. 이 방법은 시점 인식 기반 기하 제약 조건을 활용하여 3D 검출 정확도를 향상시키며, 특히 방향성 추정에서 뛰어난 성능을 보이며 KITTI 데이터셋에서 기준 모노클러닉 3D 검출기 대비 더 높은 정밀도와 효율성을 달성한다.

ABSTRACT

3D object detection is one of the most important tasks for the perception systems of autonomous vehicles. With the significant success in the field of 2D object detection, several monocular image based 3D object detection algorithms have been proposed based on advanced 2D object detectors and the geometric constraints between the 2D and 3D bounding boxes. In this paper, we propose a novel method for determining the configuration of the 2D-3D geometric constraints which is based on the well-known 2D-3D two stage object detection framework. First, we discrete viewpoints in which the camera shots the object into 16 categories with respect to the observation relationship between camera and objects. Second, we design a viewpoint classifier by integrated a new sub-branch into the existing multi-branches CNN. Then, the configuration of geometric constraint between the 2D and 3D bounding boxes can be determined according to the output of this classifier. Extensive experiments on the KITTI dataset show that, our method not only improves the computational efficiency, but also increases the overall precision of the model, especially to the orientation angle estimation.

연구 동기 및 목표

• 자율주행 차량을 위한 단안 3D 검출에서 2D-3D 기하 제약 조건을 더 잘 모델링함으로써 3D 객체 검출 정확도를 향상시키기 위해.
• 기존 단안 3D 검출기에서 방향각 추정이 부정확한 문제를 해결하기 위해.
• 종단간 회귀에 의존하는 대신, 시점 구성 구조를 명시적으로 모델링함으로써 계산 효율성을 향상시키기 위해.
• 카메라-객체 기하관계 기반으로 객체 시점을 16개의 이산 클래스로 분류함으로써 3D 경계상자 추정의 모호성을 줄이기 위해.

제안 방법

• 카메라와 객체 간 상대 기하 관계를 기반으로 객체 시점을 16개의 카테고리로 이산화하기 위해.
• 객체의 시점 카테고리를 예측하기 위해 다중 브랜치 컨볼루션 네트워크 아키텍처에 전용 시점 분류 브랜치를 통합하기 위해.
• 예측된 시점을 바탕으로 2D 및 3D 경계상자 간 정확한 기하 제약 조건을 결정하기 위해.
• 시점 인식 기반 제약 조건을 활용하여 3D 상자 회귀를 개선하고, 특히 방향각에 대해 강화하기 위해.
• 검출, 시점 분류, 3D 상자 회귀에 대한 동시 감독을 통해 모델을 종단간으로 훈련하기 위해.
• 16개의 시점 카테고리에서 유도된 기하 사전 지식을 활용하여 일반화 능력을 향상시키고 회귀의 모호성을 줄이기 위해.

실험 결과

연구 질문

• RQ1 어떻게 시점 정보를 효과적으로 모델링하여 단안 3D 검출에서 3D 경계상자 추정 성능을 향상시킬 수 있는가?
• RQ2 이산적 시점 분류가 방향각에 특히 중요한 3D 상자 회귀의 모호성을 줄일 수 있는가?
• RQ3 시점 분류 통합이 실제 워크플로우 데이터셋에서 검출 정확도와 추론 효율성에 얼마나 기여하는가?
• RQ4 2D-3D 상자 대응에서 종단간 회귀와 비교해 시점 인식 기반 기하 제약 조건은 어떤가?
• RQ5 통합 네트워크 아키텍처가 검출, 시점 분류, 3D 상자 회귀를 동시에 최적화할 수 있는가?

주요 결과

• 제안된 방법은 기준 단안 검출기 대비 KITTI 데이터셋에서 3D 검출 정밀도를 높이며, 특히 방향성 추정에서 뛰어난 성능을 보였다.
• 시점 분류 통합으로 인해 회귀의 모호성이 감소하여 보다 일관된 3D 상자 예측이 가능해졌다.
• 이산적 시점에서 유도된 기하 제약 조건을 체계적으로 활용함으로써 계산 효율성이 향상되었다.
• 16개 카테고리로 분류된 시점은 주요 객체 시점 각도를 효과적으로 포괄하여 다양한 시나리오에서의 일반화 능력을 향상시켰다.
• 제거 분석 결과, 시점 분류가 방향성 정확도를 크게 향상시켜 기하 제약 조건 모델링에서의 중요성을 입증하였다.
• 시점에 의존하는 2D-3D 대응 관계를 명시적으로 모델링함으로써 기존의 이중 단계 3D 검출 프레임워크를 초월하는 성능을 달성하였다.