[논문 리뷰] SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation

Zechen Liu, Zizhang Wu외 1명|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 27

한 줄 요약

SMOKE는 2D 영역 제안을 생략하고, 투영된 3D 키포인트와 3D 회귀 헤드를 사용하여 직접 3D 경계 상자 회귀를 수행하는 단일 단계 단안 3D 객체 검출 방법을 제안한다. 이는 3D 박스 회귀를 위한 다단계 분리 전략을 도입하여 KITTI에서 최고 성능을 달성하며, 수렴성, 정확도, 효율성이 향상되었으며, 추가 데이터나 복잡한 후처리 없이 이전의 모든 단안 방법을 능가한다.

ABSTRACT

Estimating 3D orientation and translation of objects is essential for infrastructure-less autonomous navigation and driving. In case of monocular vision, successful methods have been mainly based on two ingredients: (i) a network generating 2D region proposals, (ii) a R-CNN structure predicting 3D object pose by utilizing the acquired regions of interest. We argue that the 2D detection network is redundant and introduces non-negligible noise for 3D detection. Hence, we propose a novel 3D object detection method, named SMOKE, in this paper that predicts a 3D bounding box for each detected object by combining a single keypoint estimate with regressed 3D variables. As a second contribution, we propose a multi-step disentangling approach for constructing the 3D bounding box, which significantly improves both training convergence and detection accuracy. In contrast to previous 3D detection techniques, our method does not require complicated pre/post-processing, extra data, and a refinement stage. Despite of its structural simplicity, our proposed SMOKE network outperforms all existing monocular 3D detection methods on the KITTI dataset, giving the best state-of-the-art result on both 3D object detection and Bird's eye view evaluation. The code will be made publicly available.

연구 동기 및 목표

• 단안 3D 검출에서 임의의 2D 영역 제안 네트워크를 제거하여 노이즈를 줄이고 3D 기하학적 학습을 향상시키는 것.
• 단일 이미지에서 직접 3D 경계 상자를 회귀하는 간단하고 엔드 투 엔드로 훈련 가능한 3D 검출 프레임워크를 개발하는 것.
• 3D 회귀 매개변수를 위한 새로운 다단계 분리 전략을 통해 훈련 수렴성과 검출 정확도를 향상시키는 것.
• 합성 데이터, 복잡한 후처리, 다단계 정밀화에 의존하지 않고 KITTI에서 최고 성능을 달성하는 것.

제안 방법

• 네트워크는 단일 RGB 이미지에서 1:4로 다운샘플된 해상도의 특징 맵을 추출하기 위해 DLA-34 백본을 사용한다.
• 두 개의 병렬 브랜치가 연결된다: 하나는 이미지 평면상의 3D 중심 포인트 투영에 대한 키포인트 분류를 담당하고, 다른 하나는 3D 경계 상자 회귀(크기, 방향, 깊이)를 담당한다.
• 통합 손실 함수를 사용하여 투영된 키포인트와 회귀된 3D 매개변수를 조합하여 3D 경계 상자를 재구성한다.
• 훈련 안정성과 정확도 향상을 위해 인코딩 및 손실 계산 과정에서 각 3D 매개변수(예: 중심, 크기, 방향, 깊이)의 기여를 다단계로 분리하는 전략을 도입한다.
• 쿼터니언 대신 벡터 표현을 사용하여 방향을 표현함으로써 경험적으로 성능 향상을 달성한다.
• 전체 네트워크는 단일 단계에서 엔드 투 엔드로 훈련되며, R-CNN 방식의 이중 단계 파이프라인과 그에 수반되는 노이즈를 피한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 단안 3D 검출에서 2D 영역 제안을 제거할 수 있는가?
• RQ2 단일 단계 프레임워크에서 3D 회귀를 더 안정적이고 정확하게 만들 수 있는가?
• RQ3 3D 매개변수를 위한 분리 전략이 수렴성과 검출 정확도를 향상시키는가?
• RQ4 간단한 엔드 투 엔드 네트워크가 KITTI에서 복잡한 다단계 또는 데이터 증강 방법을 능가할 수 있는가?
• RQ5 벡터 표현 방식이 쿼터니언 표현 방식보다 단안 3D 검출에서 우월한가?

주요 결과

• SMOKE는 KITTI 3D 객체 검출 벤치마크에서 최고 성능을 기록했으며, 3D 검출 평가 기준으로 하드 셋에서 평균 정확도(AP)가 14.76%를 기록했다.
• Bird’s eye view(BEV) 평가 기준으로 19.99% AP를 달성하여, 제출 당시 모든 이전 단안 방법을 뛰어넘었다.
• 그룹 정규화(GN)는 배치 정규화(BN)보다 성능이 뛰어나며, 에포크당 훈련 시간을 60% 감소시키고 모든 난이도 수준에서 성능 향상을 이뤘다.
• L1 손실 함수는 스무스 L1보다 더 좋은 결과를 내었으며, 분리된 회귀 손실 함수는 난이도 수준 전반에서 3.5–4.5% AP 향상을 이끌어냈다.
• 벡터 표현을 사용한 회전 각도 표현 방식은 쿼터니언 표현 방식보다 뛰어난 성능을 보였으며, 하드 셋에서 1.44%의 AP 향상을 기록했다.
• 정성적 결과는 테스트 이미지에서 새로운 시나리오에서도 깊이 추정이 정확하고 3D 위치 추정이 견고하며, 정확한 앞면 방향과 BEV 일관성이 확보됨을 보여주었다.