[논문 리뷰] Sparse4D v3: Advancing End-to-End 3D Detection and Tracking

Xuewu Lin, Zixiang Pei외 3명|arXiv (Cornell University)|2023. 11. 20.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

Sparse4D v3은 시간적 인스턴스 노이즈 제거, 품질 추정, 분리된 어텐션 메커니즘을 도입함으로써 엔드 투 엔드 3D 객체 검출 및 추적을 향상시켜 EVA02-Large 백본과 향후 프레임 융합을 사용할 경우 nuScenes에서 71.9% NDS 및 67.7% AMOTA의 최신 기술 성능을 달성한다.

ABSTRACT

In autonomous driving perception systems, 3D detection and tracking are the two fundamental tasks. This paper delves deeper into this field, building upon the Sparse4D framework. We introduce two auxiliary training tasks (Temporal Instance Denoising and Quality Estimation) and propose decoupled attention to make structural improvements, leading to significant enhancements in detection performance. Additionally, we extend the detector into a tracker using a straightforward approach that assigns instance ID during inference, further highlighting the advantages of query-based algorithms. Extensive experiments conducted on the nuScenes benchmark validate the effectiveness of the proposed improvements. With ResNet50 as the backbone, we witnessed enhancements of 3.0\%, 2.2\%, and 7.6\% in mAP, NDS, and AMOTA, achieving 46.9\%, 56.1\%, and 49.0\%, respectively. Our best model achieved 71.9\% NDS and 67.7\% AMOTA on the nuScenes test set. Code will be released at \url{https://github.com/linxuewu/Sparse4D}.

연구 동기 및 목표

• 단일 매칭 및 희소 샘플링으로 인한 희소 기반 3D 검출의 불안정성과 수렴 불량 문제를 해결한다.
• 시간적 인스턴스 노이즈 제거 및 품질 추정과 같은 보조 학습 작업을 도입하여 검출 성능을 향상시킨다.
• 쿼리 기반 어텐션에서의 특징 간섭을 줄이기 위해 분리된 어텐션 메커니즘을 통해 어텐션 메커니즘의 안정성을 향상시킨다.
• 학습 또는 손실 함수를 수정하지 않고도 추적 기능을 엔드 투 엔드 추적기로 확장하여 추론 중에 직접 인스턴스 ID 할당을 가능하게 한다.
• 아키텍처 및 학습 개선을 통해 nuScenes 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 학습 중 양호한 샘플 매칭을 안정화하고 긍정 샘플 수를 증가시키기 위해 보조 작업으로 시간적 인스턴스 노이즈 제거를 도입한다.
• 신뢰도 점수를 정밀하게 조정하여 검출 순위와 지표 성능을 향상시키기 위해 품질 추정 헤드를 추가한다.
• 쿼리-특징 덧셈을 연결으로 대체함으로써 분리된 어텐션 메커니즘을 제안하여 오류 발생 어텐션 가중치를 감소시키고 특징 집합을 향상시킨다.
• 추론 중에 인스턴스 ID를 할당하여 엔드 투 엔드 3D 다중 객체 추적을 구현함으로써 별도의 데이터 연동 또는 추적 헤드가 필요 없도록 한다.
• 클라우드 기반 추론 환경에서 성능을 추가로 향상시키기 위해 향후 프레임 특징 융합과 EVA02-Large 백본을 활용한다.
• 검출기 학습을 그대로 유지하면서 추적 기능을 통합함으로써 추가적인 미세조정이나 지표 ID 감독이 필요 없도록 한다.

Figure 1: Overview of Sparse4D framework, which input mutli-view video and output the perception results of all frames.

실험 결과

연구 질문

• RQ1 시간적 인스턴스 노이즈 제거 및 품질 추정과 같은 보조 학습 작업이 희소 기반 3D 검출기의 수렴 및 성능 향상에 기여하는가?
• RQ2 분리된 어텐션 메커니즘이 쿼리 기반 3D 검출에서 특징 간섭을 줄이고 어텐션 맵의 신뢰성을 향상시키는가?
• RQ3 학습 과정이나 손실 함수를 수정하지 않고도 쿼리 기반 3D 검출기를 엔드 투 엔드 추적기로 확장할 수 있는가?
• RQ4 향후 프레임 융합과 더 큰 백본이 검출 및 추적 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 검출 및 추적 작업 모두에서 nuScenes 벤치마크에서 최신 기술 성능을 달성하는가?

주요 결과

• ResNet50 백본을 사용할 경우, Sparse4D v3는 nuScenes 검증 세트에서 46.9% mAP, 56.1% NDS, 49.0% AMOTA를 달성하여 Sparse4Dv2 대비 각각 3.0%, 2.2%, 7.6% 향상되었다.
• EVA02-Large 백본과 8개의 향후 프레임을 사용할 경우, 모델은 nuScenes 테스트 세트에서 68.2% mAP, 71.9% NDS, 67.7% AMOTA를 기록하여 TransFusion-L과 같은 라이다 기반 모델의 NDS 및 mAVE 성능을 초월했다.
• 제거 분석 결과, 시간적 노이즈 제거, 품질 추정, 분리된 어텐션 각각의 구성 요소가 성능 향상에 기여하며, 특히 품질 추정이 mAVE를 0.055 감소시키고 AMOTA를 0.076 향상시켰다.
• 분리된 어텐션 메커니즘은 비정상적인 어텐션 가중치를 효과적으로 억제하며, 비주얼라이제이션을 통해 보여지듯이 보행자와 같은 관련 없는 객체가 목표 차량과 관련 없이 어텐션에 영향을 주지 않도록 한다.
• 엔드 투 엔드 추적기는 추가 학습이나 손실 함수 없이도 정의된 인스턴스-추적 회귀를 달성하여 검출과 추적의 원활한 통합을 입증한다.
• 향후 프레임 융합은 mAVE를 5.67% 감소시키고 NDS를 3.23% 향상시키며, ResNet101에서 EVA02-Large 백본으로 전환하면 mAP가 5.98% 향상된다.

Figure 2: Inference efficiency (FPS) - perception performance (mAP) on nuScenes validation dataset of different algorithms.