[논문 리뷰] Time Will Tell: New Outlooks and A Baseline for Temporal Multi-View 3D Object Detection

Jinhyung Park, Chenfeng Xu외 5명|arXiv (Cornell University)|2022. 10. 05.

Advanced Vision and Imaging인용 수 71

한 줄 요약

SOLOFusion은 검출을 위한 장기 저해상도 시간 융합을 활용하고, 위치 추정 가능성을 최대화하기 위한 단기 고해상도 깊이 추정을 통해 nuScenes 카메라 단독 3D 검출에서 최첨단 결과를 달성합니다.

ABSTRACT

While recent camera-only 3D detection methods leverage multiple timesteps, the limited history they use significantly hampers the extent to which temporal fusion can improve object perception. Observing that existing works' fusion of multi-frame images are instances of temporal stereo matching, we find that performance is hindered by the interplay between 1) the low granularity of matching resolution and 2) the sub-optimal multi-view setup produced by limited history usage. Our theoretical and empirical analysis demonstrates that the optimal temporal difference between views varies significantly for different pixels and depths, making it necessary to fuse many timesteps over long-term history. Building on our investigation, we propose to generate a cost volume from a long history of image observations, compensating for the coarse but efficient matching resolution with a more optimal multi-view matching setup. Further, we augment the per-frame monocular depth predictions used for long-term, coarse matching with short-term, fine-grained matching and find that long and short term temporal fusion are highly complementary. While maintaining high efficiency, our framework sets new state-of-the-art on nuScenes, achieving first place on the test set and outperforming previous best art by 5.2% mAP and 3.7% NDS on the validation set. Code will be released $\href{https://github.com/Divadi/SOLOFusion}{here.}$

연구 동기 및 목표

• 카메라 단독 3D 검출에서 확장된 시간적 기록을 통해 깊이 추정을 개선하려는 동기 부여.
• 시간적 기록과 공간 해상도가 다중 시야 로컬라이제이션 가능성에 미치는 영향을 분석.
• 장기 저해상도 탐지와 단기 고해상도 깊이 추정을 결합하는 확장 가능한 프레임워크를 제안합니다.

제안 방법

• 로컬라이제이션 가능성을 정의하여 다중 시야 깊이 추정의 용이성을 정량화합니다.
• 다중 시야 스테레오와 시간적 3D 검출을 연결하는 이론적 프레임워크를 개발합니다.
• SOLOFusion을 두 흐름으로 제안합니다: (1) 탐지를 위한 장기 저해상도 BEV 비용 체적, (2) Gaussian-스페이싱 상위-k 샘플링을 통한 단기 고해상도 깊이 추정.
• 저해상도 특징을 보완하기 위해 장기 융합에 16 프레임 BEV 비용 체적을 사용합니다.
• 단기 융합에서 두 시야의 스테레스를 안내하기 위해 단일 카메라 깊이 프라이어를 도입합니다.
• 장기 및 단기 융합의 결합이 보완적 이득을 낳는다는 것을 경험적으로 검증합니다.

실험 결과

연구 질문

• RQ1 카메라 단독 3D 검출에서 픽셀 및 깊이에 따라 최적의 시계열 차이가 어떻게 달라지나요?
• RQ2 장기 저해상도 시간적 융합이 특징 해상도 저하를 보완하여 로컬라이제이션 가능성을 개선할 수 있나요?
• RQ3 단기 고해상도 깊이 추정과 장기 시간적 융합의 결합이 보완적 개선을 낳나요?

주요 결과

• SOLOFusion이 카메라 단독 3D 검출에서 nuScenes 테스트 세트 1위를 달성했습니다.
• nuScenes 밸리데이션에서 CBGS를 사용한 SOLOFusion은 mAP 0.427 및 NDS 0.534에 도달하여 prior art보다 5.2% p의 mAP를 상회합니다.
• SOLOFusion은 로컬라이제이션(mATE)과 속도 추정(mAVE)을 크게 향상시켜 베이스라인 대비 mAVE에서 12.3%의 이득을 보입니다.
• 16 타임스텝의 장기 융합은 mAP 및 mATE에서 주목할 만한 이득을 가져오고, 고해상도 단기 깊이 추정은 성능을 추가로 향상시켜 이들의 보완성을 보입니다.
• 추가 깊이 전처리 없이 테스트 데이터에서 ConvNeXt-B를 사용해 640×1600에서 0.540 mAP 및 0.619 NDS를 달성하며, 여러 베이스라인을 능가합니다.