[논문 리뷰] 3D Bounding Box Estimation for Autonomous Vehicles by Cascaded Geometric Constraints and Depurated 2D Detections Using 3D Results

Jiaojiao Fang, Lingtao Zhou외 1명|arXiv (Cornell University)|2019. 09. 01.

Advanced Neural Network Applications참고 문헌 19인용 수 14

한 줄 요약

이 논문은 자율 주행 차량을 위한 이단계 3D 객체 검출 방법을 제안하며, 2D 검출을 정밀하게 보정하기 위해 연결된 기하학적 제약 조건과 3D 복원된 물리 세계 정보를 활용하여 3D 경계 상자 추정을 향상시킵니다. 시야각과 바닥면 중심 투영을 회귀하여 폐쇄형 해법을 통해 初기 3D 상자를 계산하고, 과다 결정된 피팅 방정식을 사용하여 이를 정밀하게 보정함으로써 KITTI에서 최신 기술 수준의 성능을 달성하며, 정밀도와 방향 정확도가 향상됩니다. 또한 2D 및 3D 검출에서 잡음 신호를 효과적으로 걸러냅니다.

ABSTRACT

3D object detection is one of the most important tasks in 3D vision perceptual system of autonomous vehicles. In this paper, we propose a novel two stage 3D object detection method aimed at get the optimal solution of object location in 3D space based on regressing two additional 3D object properties by a deep convolutional neural network and combined with cascaded geometric constraints between the 2D and 3D boxes. First, we modify the existing 3D properties regressing network by adding two additional components, viewpoints classification and the center projection of the 3D bounding box s bottom face. Second, we use the predicted center projection combined with similar triangle constraint to acquire an initial 3D bounding box by a closed-form solution. Then, the location predicted by previous step is used as the initial value of the over-determined equations constructed by 2D and 3D boxes fitting constraint with the configuration determined with the classified viewpoint. Finally, we use the recovered physical world information by the 3D detections to filter out the false detection and false alarm in 2D detections. We compare our method with the state-of-the-arts on the KITTI dataset show that although conceptually simple, our method outperforms more complex and computational expensive methods not only by improving the overall precision of 3D detections, but also increasing the orientation estimation precision. Furthermore our method can deal with the truncated objects to some extent and remove the false alarm and false detections in both 2D and 3D detections.

연구 동기 및 목표

• 2D 및 3D 경계 상자 간 기하학적 제약 조건을 통합하여 자율 주행 차량의 3D 객체 검출 정밀도를 향상시키는 것.
• 2D 객체 검출에서의 잡음 신호 및 오류 경고 문제를 3D 검출 결과를 활용하여 해결하는 것.
• 복잡하고 계산 비용이 높은 아키텍처에 의존하지 않고도 3D 객체 검출의 방향 추정 정확도를 향상시키는 것.
• 물리 세계 제약 조건을 활용하여 3D 검출에서 잘린 객체를 더 견고하게 처리하는 것.
• 3D 결과를 사용하여 2D 검출을 정밀하게 보정함으로써 전체 검출 신뢰도를 향상시키는 방법을 개발하는 것.

제안 방법

• 시야각 분류 및 바닥면 중심 투영 예측을 추가함으로써 3D 회귀 네트워크를 수정합니다.
• 예측된 중심 투영과 유사 삼각형 제약 조건을 기반으로 폐쇄형 해법을 사용하여 初기 3D 경계 상자를 계산합니다.
• 2D 및 3D 상자 피팅 제약 조건을 사용하여 과다 결정된 방정식을 구성하며, 이 구성은 분류된 시야각에 의해 결정됩니다.
• 초기 3D 상자 예측 결과는 과다 결정된 시스템을 최적화하여 해결하는 데 사용되는 초기 점으로 기능합니다.
• 복원된 3D 물리 세계 정보를 사용하여 2D 검출에서의 오류 검출 및 오류 경고를 걸러냅니다.
• 연속된 기하학적 제약 조건은 2D 및 3D 일致성의 조합을 통해 점진적으로 3D 검출을 정밀하게 보정합니다.

실험 결과

연구 질문

• RQ1 2D 및 3D 경계 상자 간의 연속된 기하학적 제약 조건이 자율 주행 차량의 3D 객체 검출 정확도를 향상시킬 수 있는가?
• RQ2 3D 검출 결과는 2D 객체 검출을 얼마나 효과적으로 노이즈 제거하고 정밀하게 보정할 수 있는가?
• RQ3 간단한 폐쇄형 해법으로 초기 3D 상자 추정이 종합적인 딥러닝 방법보다 정밀도 및 방향 추정 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ4 이 방법은 얼마나 잘린 또는 부분적으로 보이지 않는 객체를 3D 검출에서 견고하게 처리할 수 있는가?
• RQ5 시야각 분류 및 중심 투영의 통합이 3D 경계 상자 회귀의 신뢰성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 KITTI 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하며, 더 복잡하고 계산 비용이 높은 방법들을 능가합니다.
• 특히 자율 주행 차량의 인식에 핵심적인 요소인 방향 추정 정확도 향상에 기여하여 전체 3D 검출 정밀도를 향상시킵니다.
• 3D 복원된 물리 세계 제약 조건을 활용하여 2D 및 3D 검출에서 오류 검출 및 오류 경고를 효과적으로 줄입니다.
• 2D 및 3D 상자 간 기하학적 일치성을 활용하여 잘린 객체에 대한 강건성을 확보합니다.
• 시야각 분류 및 중심 투영의 통합은 폐쇄형 해법을 통해 정확한 초기 3D 상자 추정을 가능하게 하여 반복 최적화에 대한 의존도를 감소시킵니다.
• 우수한 성능을 유지하면서도 높은 효율성을 확보하여 기하학적 제약 조건이 검출 품질을 크게 향상시킬 수 있음을 입증합니다.