[논문 리뷰] STS: Surround-view Temporal Stereo for Multi-view 3D Detection

Zengran Wang, Chen Min외 5명|arXiv (Cornell University)|2022. 08. 22.

Advanced Vision and Imaging인용 수 26

한 줄 요약

STS는 Surround-view Temporal Stereo를 도입하여 교차 카메라와 시간적 기하를 활용해 깊이 추정 성능을 개선하고 nuScenes에서 다중 뷰 3D 탐지 정확도를 높입니다.

ABSTRACT

Learning accurate depth is essential to multi-view 3D object detection. Recent approaches mainly learn depth from monocular images, which confront inherent difficulties due to the ill-posed nature of monocular depth learning. Instead of using a sole monocular depth method, in this work, we propose a novel Surround-view Temporal Stereo (STS) technique that leverages the geometry correspondence between frames across time to facilitate accurate depth learning. Specifically, we regard the field of views from all cameras around the ego vehicle as a unified view, namely surroundview, and conduct temporal stereo matching on it. The resulting geometrical correspondence between different frames from STS is utilized and combined with the monocular depth to yield final depth prediction. Comprehensive experiments on nuScenes show that STS greatly boosts 3D detection ability, notably for medium and long distance objects. On BEVDepth with ResNet-50 backbone, STS improves mAP and NDS by 2.6% and 1.4%, respectively. Consistent improvements are observed when using a larger backbone and a larger image resolution, demonstrating its effectiveness

연구 동기 및 목표

• 다중 뷰 3D 탐지에서 단일 뷰 깊이만으로는 한계를 보이는 깊이 추정 개선의 동기를 제시한다.
• 시간과 카메라 간 기하학을 활용하여 Surround-view Temporal Stereo 프레임워크(STS)를 만든다.
• Near와 Far 포인트를 더 잘 샘플링하기 위해 SID 깊이 샘플링을 통합한다.
• textureless 영역과 움직이는 물체에서 강건한 밀집 깊이 예측을 위해 STS 깊이와 단일 뷰(depth) 깊이를 융합한다.

제안 방법

• 참조 위치별로 깊이 가설을 생성하고 모든 카메라에 걸친 차분 가능한 호모그래피를 사용하여 히스토리 프레임에서 특징을 워핑한다.
• 워핑된 소스 특징과 참조 특징 간의 그룹 간 상관관계를 통해 경량의 비용 부피를 구성한다.
• Depth 공간에서 깊이 가설을 비균일하게 샘플링하기 위해 Spacing-Increasing Discretization(SID)을 사용한다.
• STS 깊이를 단일 뷰 깊이와 요소별 합으로 융합한 뒤 softmax를 적용해 최종 깊이 분포를 얻는다.
• textureless 영역과 움직이는 물체를 처리하기 위해 단일 뷰 깊이 모듈을 보유하여 보완적 깊이 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 STS가 다중 뷰 3D 탐지에서 단일 뷰 깊이 이상으로 깊이 학습을 개선할 수 있는가?
• RQ2 크로스 카메라 시간적 대응 및 SID 샘플링이 깊이 정확도 및 BEV 기반 탐지 성능에 어떤 영향을 미치는가?
• RQ3 STS 깊이와 단일 뷰 깊이를 융합하는 것이 다양한 거리 및 장면에서 전반적 탐지 메트릭에 어떤 영향을 주는가?

주요 결과

방법	해상도	mAP ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓	mAAE ↓	NDS ↑
BEVDepth	ResNet-50	0.351	0.639	0.267	0.479	0.428	0.198	0.475
Ours	ResNet-50	0.377	0.601	0.275	0.450	0.446	0.212	0.489
BEVDepth	ResNet-50	0.405	0.570	0.266	0.383	0.368	0.206	0.523
Ours	ResNet-50	0.425	0.532	0.267	0.390	0.369	0.212	0.536
BEVDepth	ConvNeXt	0.462	0.540	0.254	0.353	0.379	0.200	0.558
Ours	ConvNeXt	0.473	0.515	0.259	0.320	0.366	0.197	0.571

• STS는 nuScenes BEVDepth 기반에서 구체적 구성을 넘어선 측정 가능한 향상을 제공하여 구성 간 mAP와 NDS를 증가시킨다.
• ResNet-50 및 256x704 입력에서 STS는 BEVDepth 대비 mAP를 2.6%, NDS를 1.4% 올린다.
• 512x1408 해상도에서 ResNet-50으로 STS는 mAP를 0.425, NDS를 0.536으로 올리며 BEVDepth의 0.405, 0.523 대비 상승시킨다.
• 512x1408에서 ConvNeXt 백본을 사용할 때 STS는 mAP 0.473, NDS 0.571로 기록하며 BEVDepth 0.462, 0.558 대비 향상된다.
• 공성향 분석은 Surround-view가 필수적임(1.1% mAP 증가)과 SID가 STS 성능을 높이며 중장거리 물체에 특히 유리함을 보여준다.
• 깊이 융합(STS + 단일 뷰)은 어느 모듈 단독보다 우수하며, mAP 및 NDS에서 주목할 만한 향상을 보인다.