[논문 리뷰] YOLOStereo3D: A Step Back to 2D for Efficient Stereo 3D Detection

Yuxuan Liu, Lujia Wang외 1명|arXiv (Cornell University)|2021. 03. 17.

Advanced Neural Network Applications참고 문헌 33인용 수 6

한 줄 요약

YOLOStereo3D는 계층적이고 밀집 연결된 다중 척도 특징 융합를 통해 스테레오 특징을 통합함으로써 스테레오 검출을 개선된 단안 검출 문제로 간주하는 경량이며 단계별 스테레오 3D 객체 검출 프레임워크를 제안한다. 포인트와 기반의 상관관계 모듈을 사용하여 효율적인 스테레오 매칭을 구현하고, 시 disparity 감독을 통해 엔드 투 엔드 훈련을 수행함으로써 단일 GPU에서 10 FPS 이상의 추론 속도를 달성하면서도 LiDAR 없이도 경쟁적인 KITTI 벤치마크 성능을 확보한다.

ABSTRACT

Object detection in 3D with stereo cameras is an important problem in computer vision, and is particularly crucial in low-cost autonomous mobile robots without LiDARs. Nowadays, most of the best-performing frameworks for stereo 3D object detection are based on dense depth reconstruction from disparity estimation, making them extremely computationally expensive. To enable real-world deployments of vision detection with binocular images, we take a step back to gain insights from 2D image-based detection frameworks and enhance them with stereo features. We incorporate knowledge and the inference structure from real-time one-stage 2D/3D object detector and introduce a light-weight stereo matching module. Our proposed framework, YOLOStereo3D, is trained on one single GPU and runs at more than ten fps. It demonstrates performance comparable to state-of-the-art stereo 3D detection frameworks without usage of LiDAR data. The code will be published in https://github.com/Owen-Liuyuxuan/visualDet3D.

연구 동기 및 목표

• 밀도 있는 깊이 재구성 및 허위 LiDAR 기반 최신 스테레오 3D 검출 프레임워크의 높은 계산 비용을 해결하기 위해.
• LiDAR 없이 저비용 자율 로봇의 실시간 구현 가능성을 향상시키기 위해.
• 2D 검출 프레임워크가 스테레오 특징을 효과적으로 통합하여 3D 검출에 활용될 수 있는지 탐색하기 위해.
• 높은 정확도를 유지하면서도 비용이 많이 드는 시 disparity 추정 네트워크에 대한 의존도를 줄이기 위해.
• LiDAR 데이터 없이 스테레오 RGB 이미지만을 사용하여도 높은 추론 속도와 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 실시간 2D/3D 객체 검출기에서 영감을 얻은 단계별 검출 아키텍처를 채택하여, 3D 경계 상자 예측을 위해 앵커 기반 회귀를 사용한다.
• 스테레오 매칭을 위한 비용 볼륨을 구성하기 위해 표준 연결 기반 모듈을 대체하기 위해 포인트와 기반 상관관계 모듈을 도입하여 효율성을 향상시킨다.
• 스테레오 매칭 모듈을 다중 척도(예: 4, 8, 16)에서 계층적으로 적용하여 다중 척도 스테레오 특징을 추출한다.
• RGB 및 스테레오 특징 융합 과정에서 정보를 유지하기 위해 밀집 연결된 고스트 모듈을 사용하여 특징 채널을 확장한다.
• 계산 비용과 특징 풍부함의 균형을 고려하여 다중 척도에서 스테레오 특징을 융합하기 위한 계층적 융합 전략을 적용한다.
• 실제 LiDAR가 필요 없이도 스테레오 매칭 품질을 향상시키기 위해 보조 시 disparity 감독 헤드를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 2D 객체 검출 프레임워크가 스테레오 특징을 효과적으로 통합하여 경쟁 가능한 3D 검출 성능을 달성할 수 있는가?
• RQ2 스테레오 매칭에 포인트와 기반 상관관계 모듈을 사용할 경우, 연결 기반 비용 볼륨 대비 효율성과 성능이 향상되는가?
• RQ3 스테레오 특징의 계층적 다중 척도 융합이 검출 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ4 시 disparity 감독이 스테레오 특징 학습과 최종 검출 성능 향상에 어느 정도 기여하는가?
• RQ5 스테레오 3D 검출기에서 LiDAR 없이 단일 GPU에서 실시간 추론(예: 10 FPS 이상)을 달성할 수 있는가?

주요 결과

• YOLOStereo3D는 단일 GPU에서 10 FPS 이상의 추론 속도를 달성하여, LiDAR 기반 또는 밀도 있는 재구성 기반 프레임워크보다 추론 효율성에서 뚜렷한 우수성을 보였다.
• 모델은 LiDAR 데이터 없이도 KITTI 벤치마크에서 경쟁 가능한 3D 검출 성능을 확보하였으며, mAP가 최신 스테레오 3D 검출기와 유사한 수준이었다.
• 제거 실험 결과, 단순한 1×1 컨벌루션 또는 채널 감소 방식에 비해 밀집 연결된 고스트 모듈이 특징 표현을 향상시킴을 확인하였다.
• 스케일 8과 16에서의 계층적 스테레오 특징 융합이 단일 척도 또는 부분적 척도 융합보다 성능 향상을 이끌었으며, 속도-정확도 트레이드오���에서 유리한 성능을 보였다.
• 시 disparity 감독은 검출 성능을 크게 향상시켰지만, 목표 시 disparity 맵의 정확도에 대해 결과가 크게 민감하지 않아 정규화가 충분히 기능함을 시사하였다.
• 정성적 결과에서는 시 disparity 추정이 불완전하더라도 앵커 헤드의 강력한 사전 지식과 효과적인 특징 융합 덕분에 시각적으로 일관된 3D 경계 상자를 생성하는 것으로 나타났다.