[논문 리뷰] Pseudo-Stereo for Monocular 3D Object Detection in Autonomous Driving

Yinan Chen, Hang Dai외 1명|arXiv (Cornell University)|2022. 03. 04.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 단일 단안 영상에서 이미지 수준, 특징 수준, 특징 클론 수준의 가상 스테레오 뷰 생성 방법을 사용하여 가상 스테레오 뷰를 생성하는 가짜 스테레오 3D 검출 프레임워크를 제안한다. 깊이 추정과 비판적 동적 컨볼루션을 활용하여 특징을 적응적으로 필터링함으로써, 단안 3D 검출 분야에서 최고 성능을 기록하였으며, KITTI-3D 벤치마크에서 자동차, 보행자, 자전거 기사 카테고리에서 모두 1위를 기록하였다.

ABSTRACT

Pseudo-LiDAR 3D detectors have made remarkable progress in monocular 3D detection by enhancing the capability of perceiving depth with depth estimation networks, and using LiDAR-based 3D detection architectures. The advanced stereo 3D detectors can also accurately localize 3D objects. The gap in image-to-image generation for stereo views is much smaller than that in image-to-LiDAR generation. Motivated by this, we propose a Pseudo-Stereo 3D detection framework with three novel virtual view generation methods, including image-level generation, feature-level generation, and feature-clone, for detecting 3D objects from a single image. Our analysis of depth-aware learning shows that the depth loss is effective in only feature-level virtual view generation and the estimated depth map is effective in both image-level and feature-level in our framework. We propose a disparity-wise dynamic convolution with dynamic kernels sampled from the disparity feature map to filter the features adaptively from a single image for generating virtual image features, which eases the feature degradation caused by the depth estimation errors. Till submission (November 18, 2021), our Pseudo-Stereo 3D detection framework ranks 1st on car, pedestrian, and cyclist among the monocular 3D detectors with publications on the KITTI-3D benchmark. The code is released at https://github.com/revisitq/Pseudo-Stereo-3D.

연구 동기 및 목표

• 단안 및 스테레오 3D 검출기 간 성능 격차를 해소하기 위해 단일 영상에서 가짜 스테레오 뷰를 생성하는 것.
• 이미지 간 스테레오 생성과 이미지 간 LiDAR 생성에 비해 더 작은 생성 격차를 가진다는 점을 활용하여 단안 3D 검출을 향상시키는 것.
• 깊이 추정 오류로 인한 특징 열화를 적응형 특징 필터링을 통해 완화하는 것.
• 다양한 가상 뷰 생성 단계에서 깊이 감독과 추정된 깊이 맵의 효과를 분석하는 것.

제안 방법

• 이미지 수준(추정된 비차이를 사용해 입력 영상을 왜곡), 특징 수준(좌측 특징에 대해 비차이 기반 동적 컨볼루션 적용), 특징 클론(좌측 특징을 가상 右 특징으로 복제)의 세 가지 가상 뷰 생성 방법을 제안.
• 비차이 특징 맵에서 동적 커널을 샘플링하여 특징을 적응적으로 필터링하는 비차이 기반 동적 컨볼루션(Dynamic Convolution, DDC)을 도입하여 깊이 오류로 인한 열화를 감소시킴.
• 가상 뷰 생성의 이미지 수준 및 특징 수준에서 모두 지침을 제공하기 위해 사전 학습된 깊이 추정 네트워크를 사용해 비차이 맵을 생성.
• 스테레오 3D 검출기(예: LIGA-Stereo)를 백본으로 사용하여 생성된 가짜 스테레오 뷰를 처리하여 3D 객체 검출을 수행.
• 특징 수준 생성에서 깊이 손실을 감독 신호로 사용하여 깊이 인식 특징 학습을 향상시킴.
• 깊이 유도 및 깊이 무관 훈련 모드를 모두 지원하며, 특징 클론은 깊이 의존성 없이도 강력한 기준 모델로 기능함.

실험 결과

연구 질문

• RQ1 가짜 LiDAR 방법과 비교해 단일 영상에서 유도된 가상 스테레오 뷰 생성이 단안 3D 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 가상 뷰 생성 수준에서 추정된 깊이 맵과 깊이 손실이 깊이 인식 특징 학습을 얼마나 효과적으로 이끄는가?
• RQ3 제안된 비차이 기반 동적 컨볼루션은 특징 수준 생성에서 깊이 추정 오류로 인한 특징 열화를 효과적으로 줄이는가?
• RQ4 특정 가상 뷰 생성 전략의 일반화 능력은 특히 테스트 세트에 대한 분포 이동 상황에서 어떻게 되는가?
• RQ5 표준 벤치마크인 KITTI-3D에서 가짜 스테레오 프레임워크는 최신 단안 3D 검출기들과 비교해 어떻게 성능을 내는가?

주요 결과

• 비차이 기반 동적 컨볼루션을 사용한 제안된 특징 수준 가상 뷰 생성(Ours-fld)이 자동차, 보행자, 자전거 기사 카테고리 전부에서 KITTI-3D 벤치마크에서 1위를 기록하였다.
• Ours-fld는 단일 모델로 DD3D, GUPNet, MonoPSR와 같은 최신 기법들보다 AP3D 및 APBEV 지표에서 모두 뛰어난 성능을 보였다.
• 깊이 손실은 특징 수준 생성에서 필수적이었으며, 추정된 깊이 맵은 이미지 수준 및 특징 수준 설정에서 모두 성능 향상을 이끌었다.
• 특징 클론 방법은 깊이 추정에 의존하지 않기 때문에 검증 세트와 테스트 세트 간 성능 격차가 작아 더 우수한 일반화 능력을 보였다.
• 모든 객체 클래스 및 지표에서 18개 중 18개의 최고 성능, 18개 중 15개의 2위 성능을 기록하여 강력한 내구성과 효과성을 입증하였다.