[논문 리뷰] DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention

Zhipeng Luo, Changqing Zhou외 2명|arXiv (Cornell University)|2022. 12. 15.

Advanced Neural Network Applications인용 수 10

한 줄 요약

DETR4D는 다중 시야 3D 객체 검출을 위한 쿼리 기반, Transformer 기반 프레임워크를 제안하며, 희소 어텐션과 직접적인 특징 쿼리를 통해 기하학적 힌트를 더 잘 활용하고 시야 간 정보 손실을 줄입니다. 이는 새로운 프로젝션형 교차 어텐션 메커니즘, 히트맵 유도 쿼리 초기화, 하이브리드 시간 모델링 전략을 도입하여 nuScenes에서 최신 기준의 효율성과 경쟁 가능한 성능을 달성합니다. NDS 50.5% 및 mAP 42.0%를 기록합니다.

ABSTRACT

3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.

연구 동기 및 목표

• 깊이 감독 없이 다중 시야 영상에서 3D 객체 검출을 수행하는 데 있어 깊이의 모호성과 시야 간 정보 손실이 성능을 제한하는 문제를 해결하기 위해.
• 다중 카메라 시야에서 보이는 객체에 대해 기하학적 힌트를 더 잘 활용하고 정보 손실을 줄이기 위해.
• 중간 특징 융합 없이 과거 객체 쿼리와 이미지 특징을 융합함으로써 카메라 전용 3D 검출에서 효율적인 시간 모델링을 가능하게 하기 위해.
• 기존 쿼리 기반 방법들과 비교해도 높은 추론 효율성을 유지하면서 경쟁 가능한 검출 정확도를 달성하기 위해.

제안 방법

• 프로젝션 이전에 3D 샘플링 위치를 생성하는 새로운 프로젝션형 교차 어텐션 메커니즘을 도입하여 기하학적 일관성을 향상시키고 정보 손실을 줄입니다.
• 체적 격자 샘플링을 통한 볼륨형 그리드 샘플링 기법을 활용해 히트맵 생성을 통해 객체성 사전 지식과 맥락적 힌트를 쿼리 초기화에 제공합니다.
• 자기 운동 보정을 사용해 과거 객체 쿼리와 과거 이미지 특징을 모두 통합하는 하이브리드 시간 모델링 전략을 제안합니다.
• 프로젝션된 3D 쿼리 위치에서 이미지 특징을 효율적으로 집계하기 위해 희소 어텐션을 사용하여 밀도 높은 샘플링을 피하고 계산 비용을 줄입니다.
• 자기 운동 보정을 적용해 프레임 간 자기 운동을 보완함으로써 시간 모델링의 안정성을 향상시킵니다.
• 중간 3D 특징 생성을 생략하고 직접 쿼리에서 이미지 특징으로의 융합 파이프라인을 도입하여 엔드 투 엔드 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 쿼리 프로젝션 과정을 재고함으로써 쿼리 기반 3D 검출 프레임워크가 다중 시야 3D 검출에서 더 높은 기하학적 일관성과 낮은 정보 손실을 달성할 수 있는가?
• RQ2 명시적 깊이 추정이나 중간 3D 특징 맵 없이 2D 이미지 특징을 효과적으로 3D 공간으로 연결할 수 있는가?
• RQ3 과거 쿼리와 이미지 특징을 융합하는 하이브리드 시간 모델링 전략이 최소한의 계산 비용으로도 검출의 강건성을 향상시킬 수 있는가?
• RQ4 자기 운동 보정이 카메라 기반 3D 검출에서 시간 모델링 성능을 크게 향상시키는가?

주요 결과

• DETR4D는 nuScenes 데이터셋에서 NDS 50.5% 및 mAP 42.0%를 달성하여 단일 프레임 기준선을 초월하며 높은 효율성과 함께 뛰어난 성능을 보입니다.
• 제안된 프로젝션형 교차 어텐션 메커니즘이 표준 공간 교차 어텐션을 사용하는 기준선 대비 NDS 성능을 3.9% 향상시켰으며, 이는 기하학적 힌트를 더 잘 활용했기 때문입니다.
• 과거 쿼리와 이미지 특징 융합을 모두 포함한 하이브리드 시간 모델링 접근 방식이 최고의 성능(NDS: 50.5%)을 기록하여 두 구성 요소가 상호 보완적이고 필수적임을 입증합니다.
• 자기 운동 보정은 NDS를 3.9%포인트 향상시켜 시간 모델링의 안정성에 있어 결정적인 역할을 한다는 것을 증명합니다.
• 프레임 간 간격이 1.5초일 때 성능이 최고에 이르며, NDS 50.5% 및 mAP 42.0%를 기록함으로써 최적의 특징 독립성과 프레임 간 연관성 확보가 가능함을 시사합니다.
• 모든 백본 구성에서 BEVFormer보다 높은 추론 속도를 기록하며, 특히 ResNet-50와 같은 작은 백본에서 뚜렷한 속도 우위를 확보합니다.