[논문 리뷰] DSGN++: Exploiting Visual-Spatial Relation for Stereo-based 3D Detectors

Yilun Chen, Shijia Huang외 3명|arXiv (Cornell University)|2022. 04. 06.

Advanced Vision and Imaging인용 수 4

한 줄 요약

DSGN++는 깊이 기반 평면 스위핑(DPS), 이중뷰 스테레오 볼륨(DFV), 스테레오-LiDAR 복사-붙여넣기 등을 통해 스테레오 기반 3D 객체 검출을 향상시키는 프레임워크를 제안한다. KITTI 벤치마크에서 카메라 전용 검출기보다 추가적인 기능 없이도 최고 성능을 기록하며, 차량에 대해 69.12 AP 3D를 달성한다.

ABSTRACT

Camera-based 3D object detectors are welcome due to their wider deployment and lower price than LiDAR sensors. We first revisit the prior stereo detector DSGN for its stereo volume construction ways for representing both 3D geometry and semantics. We polish the stereo modeling and propose the advanced version, DSGN++, aiming to enhance effective information flow throughout the 2D-to-3D pipeline in three main aspects. First, to effectively lift the 2D information to stereo volume, we propose depth-wise plane sweeping (DPS) that allows denser connections and extracts depth-guided features. Second, for grasping differently spaced features, we present a novel stereo volume -- Dual-view Stereo Volume (DSV) that integrates front-view and top-view features and reconstructs sub-voxel depth in the camera frustum. Third, as the foreground region becomes less dominant in 3D space, we propose a multi-modal data editing strategy -- Stereo-LiDAR Copy-Paste, which ensures cross-modal alignment and improves data efficiency. Without bells and whistles, extensive experiments in various modality setups on the popular KITTI benchmark show that our method consistently outperforms other camera-based 3D detectors for all categories. Code is available at https://github.com/chenyilun95/DSGN2.

연구 동기 및 목표

• 스테레오 기반 3D 검출기에서 2D에서 3D로의 특징 전이 과정에서 정보 흐름이 제한되는 문제를 해결하기 위해.
• 보행자 및 자전거 기준으로 비정규적인 형상을 가진 물체를 위해 앞면 및 상단면 특징을 융합하여 3D 표현을 향상시키기 위해.
• 새로운 교차 모달 데이터 편집 전략을 통해 카메라 기반 3D 검출에서 데이터 불균형 문제를 완화하고 일반화 성능을 향상시키기 위해.
• LiDAR에 의존하지 않고도 장거리 및 가림 상황에서의 모델 효율성과 강건성을 향상시키기 위해.

제안 방법

• 깊이 기반 평면 스위핑(DPS)은 채널 용량을 확장하고 순환 분할을 통해 3D 볼륨 구축 시 국소 연속성을 확보함으로써 더 밀도 높고 깊이 유도 특징 전파를 가능하게 한다.
• 이중뷰 스테레오 볼륨(DFV)은 앞면 평면 스위핑 볼륨과 상단면 3D 기하학적 볼륨의 특징을 융합하여 다양한 형상의 물체를 더 잘 포착한다.
• 스테레오-LiDAR 복사-붙여넣기는 LiDAR로 생성된 3D 물체를 스테레오 이미지에 복사하여 교차 모달 정렬을 보장하고 데이터 효율성을 향상시킨다.
• 프레임워크는 2D 백본(예: ResNet-34)을 이중으로 사용해 특징을 추출하고, 스테레오 볼륨 구축 및 BEV 기반 3D 검출기로 최종 예측을 수행한다.
• DPS에서의 순환 분할은 깊이 평면 간 특징 전환을 부드럽게 하여 3D 볼륨의 해상도와 연속성을 향상시킨다.
• 이 방법은 엔드 투 엔드 학습이 가능하며, 추가 헤드 설계나 복잡한 후처리가 필요하지 않다.

실험 결과

연구 질문

• RQ1 2D에서 3D로의 특징 전이 과정을 어떻게 개선하여 더 풍부한 의미적 및 기하학적 정보를 유지할 수 있는가?
• RQ2 앞면 및 상단면 스테레오 볼륨을 융합하면 비정규적인 형상을 가진 물체에 대해 더 나은 3D 표현을 얻을 수 있는가?
• RQ3 교차 모달 데이터 증강 전략이 카메라 기반 3D 검출에서 데이터 효율성과 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 스테레오 모델링은 장거리 및 가림 상황에서의 성능에 어떤 영향을 미치는가?

주요 결과

• DSGN++는 KITTI 벤치마크에서 차량에 대해 69.12 AP 3D를 기록하며, 추가 구성 요소 없이도 이전의 스테레오 기반 검출기들을 능가한다.
• 스테레오-LiDAR 복사-붙여넣기 전략은 차량에 대해 AP 3D를 +2.60 향상시키며, 양성 샘플 수를 늘일 경우 +2.53까지 향상시켜 강력한 데이터 효율성 향상을 입증한다.
• DSV의 사용으로 인해 전경 깊이 추정 오차가 0.63m에서 0.57m로 감소하여 거리에 관계없이 기하학적 정확도가 향상됨을 나타낸다.
• 효율적인 R18-DSGN++ 버전은 전체 모델의 절반 수준의 파라미터로 68.12 AP 3D를 달성하여 뛰어난 속도-정확도 트레이드오���을 보여준다.
• ResNet-18 기반으로 추론 시간이 0.178초로 단축되어 기존 파ip라인에서 2D 백본이 과도하게 활용되지 않는다는 점을 시사한다.
• 정성적 결과는 50m 거리에서도 정확한 3D 바운딩 박스를 제공하며, 가려진 물체에 대해서도 강력한 검출 성능을 보여준다.