[논문 리뷰] GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving

Buyu Li, Wanli Ouyang외 3명|arXiv (Cornell University)|2019. 03. 26.

Advanced Neural Network Applications참고 문헌 27인용 수 33

한 줄 요약

GS3D는 신뢰할 수 있는 2D 탐지를 먼저 활용하여 거친 3D 직육면체를 생성한 다음 표면 기반 특징과 분류형 학습-손실(품질 인식 손실)을 사용해 정확한 3D 상자를 예측하여 단일 RGB 이미지에서 3D 객체를 탐지합니다.

ABSTRACT

We present an efficient 3D object detection framework based on a single RGB image in the scenario of autonomous driving. Our efforts are put on extracting the underlying 3D information in a 2D image and determining the accurate 3D bounding box of the object without point cloud or stereo data. Leveraging the off-the-shelf 2D object detector, we propose an artful approach to efficiently obtain a coarse cuboid for each predicted 2D box. The coarse cuboid has enough accuracy to guide us to determine the 3D box of the object by refinement. In contrast to previous state-of-the-art methods that only use the features extracted from the 2D bounding box for box refinement, we explore the 3D structure information of the object by employing the visual features of visible surfaces. The new features from surfaces are utilized to eliminate the problem of representation ambiguity brought by only using a 2D bounding box. Moreover, we investigate different methods of 3D box refinement and discover that a classification formulation with quality aware loss has much better performance than regression. Evaluated on the KITTI benchmark, our approach outperforms current state-of-the-art methods for single RGB image based 3D object detection.

연구 동기 및 목표

• 포인트 클라우드나 스테레오 데이터 없이 단일 RGB 입력을 사용하여 자율 주행용 3D 객체 탐지를 효율적으로 구현하는 것을 목표로 한다.
• 먼저 2D 탐지와 장면 사전 정보를 통해 거친 3D 안내를 생성한 뒤, 가시 표면 특징을 사용해 이를 정제하는 두 단계 프레임워크를 제안한다.
• 프로젝션된 표면으로부터 3D 구조 신호를 활용하여 표현의 모호성을 해소한다.
• 품질 인식 손실이 있는 분류형 정제를 사용하면 회귀 기반 방법보다 3D 상자 정확도가 향상됨을 보인다.

제안 방법

• 방향(관찰 각도) 헤드를 갖춘 Faster R-CNN 기반 2D 탐지기를 사용하여 2D 박스와 시점 방향(알파)을 얻는다.
• 2D 박스, 카메라 내부 매개변수 및 클래스별 크기 통계로부터 기본적인 3D 직육면체 가이던스(w_g, h_g, l_g, x_g, y_g, z_g, theta_g)를 생성한다.
• 가이던스를 이미지 평면으로 투영하고, 2D 박스와 가시 표면 영역의 특징을 원근 변환을 통해 추출하여 3D 구조를 캡처한다.
• 표면 특징과 2D 박스 특징을 융합하고 이를 세 번째 네트워크(3D 서브넷)에 입력하여 정제한다.
• 3D 박스 정제를 직접 회귀하는 대신 잔차 구간에 대한 분류로 구성하고 품질 인식 손실을 적용하여 예측 품질을 더 잘 반영한다.
• 표면 기반 특징, 잔차 이동 기반 분류(잔차-이동 특징), 품질 인식 손실을 활용하여 3D 위치 추정 정확도를 극대화한다.]
• research_questions: ["깊이 센서 없이 단일 RGB 이미지로 자율 주행용 정확한 3D 객체 탐지가 가능한가?", "가시 표면의 3D 구조 특징을 통합하면 2D 박스 특징만 사용하는 방법 대비 3D 박스 정제가 개선되는가?", "품질 인식 손실을 갖춘 분류 기반 정제가 3D 박스 정제에 있어 회귀보다 효과적인가?", "RGB 데이터와 표준 priors 만으로 KITTI에서 최첨단 결과에 얼마나 근접할 수 있는가?"]
• key_findings: ["해당 프레임워크는 KITTI에서 스테레오나 CAD 데이터 없이도 3D AP 지표에서 다수의 기존 모노큘러 RGB 기반 방법보다 우수한 성능을 보인다.", "가시 표면에서의 특징을 포함시키면 2D 박스 특징만 사용할 때보다 표현 모호성이 감소한다.", "정제에 대한 품질 인식 손실을 갖춘 분류 형식이 직접 회귀보다 3D 위치 추정에서 더 우수한 성능을 보인다.", "표면 인식 정제와 이동 기반 분류 및 품질 인식 전략은 3D 박스 정확도를 크게 향상시킨다."]
• table_headers: [],
• table_rows: []} } )? not valid JSON due to formatting. Ensure proper JSON.

실험 결과

연구 질문

• RQ1 깊이 센서 없이 단일 RGB 이미지로 자율 주행용 정확한 3D 객체 탐지가 가능한가?
• RQ2 가시 표면의 3D 구조 특징을 통합하면 2D 박스 특징만 사용하는 방법 대비 3D 박스 정제가 개선되는가?
• RQ3 품질 인식 손실을 갖춘 분류 기반 정제가 3D 박스 정제에 있어 회귀보다 효과적인가?
• RQ4 RGB 데이터와 표준 priors 만으로 KITTI에서 최첨단 결과에 얼마나 근접할 수 있을까?

주요 결과

• 해당 프레임워크는 KITTI에서 스테레오나 CAD 데이터 없이도 3D AP 지표에서 다수의 기존 모노큘러 RGB 기반 방법보다 우수한 성능을 보인다.
• 가시 표면에서의 특징을 포함시키면 2D 박스 특징만 사용할 때보다 표현 모호성이 감소한다.
• 정제에 대한 품질 인식 손실을 갖춘 분류 형식이 직접 회귀보다 3D 위치 추정에서 더 우수한 성능을 보인다.
• 표면 인식 정제와 이동 기반 분류 및 품질 인식 전략은 3D 박스 정확도를 크게 향상시킨다.