[논문 리뷰] DSGN: Deep Stereo Geometry Network for 3D Object Detection

Yilun Chen, Shu Liu외 2명|arXiv (Cornell University)|2020. 01. 10.

Advanced Neural Network Applications참고 문헌 75인용 수 23

한 줄 요약

DSGN은 평면 스위프트 볼륨에서 유연한 3차원 기하 구조 볼륨(3DGV)을 구성함으로써 종단 간 스테레오 기반 3D 객체 검출 프레임워크를 제안한다. 이는 깊이를 동시에 회귀하고 3D 객체를 검출한다. 완전히 미분 가능한 3차원 세계 공간에 3차원 기하학적 구조와 의미 정보를 인코딩함으로써, DSGN은 스테레오 기반 검출기 중 최고 성능을 달성하며, 이전 방법보다 약 10 AP 포인트 높은 성능을 보이며 KITTI 랭킹에서 여러 LiDAR 기반 접근법과 동등한 성능을 기록한다.

ABSTRACT

Most state-of-the-art 3D object detectors heavily rely on LiDAR sensors because there is a large performance gap between image-based and LiDAR-based methods. It is caused by the way to form representation for the prediction in 3D scenarios. Our method, called Deep Stereo Geometry Network (DSGN), significantly reduces this gap by detecting 3D objects on a differentiable volumetric representation -- 3D geometric volume, which effectively encodes 3D geometric structure for 3D regular space. With this representation, we learn depth information and semantic cues simultaneously. For the first time, we provide a simple and effective one-stage stereo-based 3D detection pipeline that jointly estimates the depth and detects 3D objects in an end-to-end learning manner. Our approach outperforms previous stereo-based 3D detectors (about 10 higher in terms of AP) and even achieves comparable performance with several LiDAR-based methods on the KITTI 3D object detection leaderboard. Our code is publicly available at https://github.com/chenyilun95/DSGN.

연구 동기 및 목표

• 스테레오 이미지에서 효과적인 3차원 표현 학습을 가능하게 함으로써, 이미지 기반 및 LiDAR 기반 3D 객체 검출 간 성능 격차를 해소하고자 한다.
• 2D 이미지에서의 불안정한 3차원 특징 추출 문제를 해결하기 위해 실제 세계의 3차원 기하학적 구조를 인코딩하는 유연한 3차원 기하 구조 볼륨(3DGV)을 도입하고자 한다.
• 깊이 추정과 3D 객체 검출을 비차별적 점군 변환에 의존하지 않고 하나의 종단 간 훈련 가능한 파이프라인으로 통합하고자 한다.
• 스테레오 기반 방법이 기하학적 인지 기반의 체적 표현을 사용할 경우, LiDAR 기반 검출기와 비교할 만한 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 메서드는 카메라 프루스텀 공간에서 스테레오 대응 및 차이 정보를 인코딩하기 위해 평면 스위프트 볼륨(PSV)을 구성한다.
• 그 후, 삼선형 보간을 사용한 유연한 3차원 좌표 왜곡을 통해 PSV를 실제 세계의 3차원 공간에 있는 3차원 기하 구조 볼륨(3DGV)으로 변환한다.
• 3DGV는 깊이 및 의미적 신호를 모두 유지하는 유연한 기하학적 인지 특징 표현으로, 3D 검출에 사용된다.
• 공통 백본을 사용하고 종단 간 역전파를 통해 스테레오 매칭과 3D 객체 검출을 동시에 최적화한다.
• 3D 볼륨은 사전 정의된 좌표 볼륨을 사용하여, 카메라 투영 행렬을 통해 3D 볼륨 위치를 이미지 평면의 2D 픽셀 좌표로 매핑한다.
• 프로젝션된 좌표에서 삼선형 보간을 사용해 특징을 추출하며, 경계를 벗어난 좌표는 0으로 설정된다.

실험 결과

연구 질문

• RQ1 유연한 3차원 기하 구조 볼륨이 2D 이미지 특징과 3차원 세계 공간 간의 격차를 효과적으로 메울 수 있는가?
• RQ2 스테레오 환경에서 깊이 추정과 3D 객체 검출을 동시에 종단 간 학습할 경우, 두 단계 또는 비차별적 파이프라인보다 성능이 뛰어나게 되는가?
• RQ3 기하학적 인지 체적 표현을 사용할 경우, 스테레오 기반 방법이 얼마나 LiDAR 기반 검출기와 비슷한 성능을 달성할 수 있는가?
• RQ4 검출 정확도와 훈련 효율성 측면에서, 3D 기하 구조 볼륨은 점군 또는 기타 중간 표현보다 어떻게 비교되는가?

주요 결과

• DSGN은 KITTI 3D 객체 검출 벤치마크에서 이전의 스테레오 기반 3D 객체 검출기보다 평균 정밀도(AP)가 약 10포인트 높다.
• DSGN은 KITTI 3D 검출 랭킹에서 여러 LiDAR 기반 검출기와 비교해 성능이 유사하며, 특히 쉬운 및 중간 난이도 수준에서 뛰어난 성능을 보였다.
• 조망도 검출에서 DSGN은 하드 난이도 수준에서 최고의 LiDAR 기반 방법과 비교해 12 AP의 격차를 보였으며, 이는 차폐되거나 먼 물체에 대한 강인성 향상 여력이 있음을 시사한다.
• 네트워크는 계산적으로 효율적이며 단일 Tesla V100 GPU에서 실행 가능하므로, 고성능 LiDAR 센서에 비해 비용 효율적인 대안이 된다.
• PSV에서 3DGV로의 유연한 왜곡은 스테레오 매칭과 3D 검출의 동시 최적화를 가능하게 하여 특징 일관성과 예측 정확도를 향상시킨다.
• 정성적 결과에서는 DSGN이 정확한 3D 경계 상자와 깊이 맵을 생성하는 것으로 나타났지만, 근거리/원거리 영역 및 3미터 이상 높이에서 희박한 지정된 깊이 지도 감독으로 인해 소음이 관찰되었다.