[논문 리뷰] FSD V2: Improving Fully Sparse 3D Object Detection with Virtual Voxels

Lue Fan, Feng Wang외 2명|arXiv (Cornell University)|2023. 08. 07.

Advanced Neural Network Applications인용 수 5

한 줄 요약

FSDv2는 수동으로 설계된 클러스터링 기반의 인스턴스 수준 표현 대신 중심점 투표 점을 볼록화하여 형성된 가상 볼록체(Virtual Voxels)—가짜 볼록체—를 도입함으로써 완전히 희소한 3D 객체 검출 프레임워크를 제안한다. 이는 수동적인 인덕티브 바이어스를 제거하고 파ip라인을 단순화하며 일반화 능력을 향상시킨다. Waymo, nuScenes, Argoverse 2 데이터셋에서 최신 기준 성능을 달성하면서 지연 시간 증가가 최소화되고 하이퍼파ram터에 대해 뛰어난 강건성을 보인다.

ABSTRACT

LiDAR-based fully sparse architecture has garnered increasing attention. FSDv1 stands out as a representative work, achieving impressive efficacy and efficiency, albeit with intricate structures and handcrafted designs. In this paper, we present FSDv2, an evolution that aims to simplify the previous FSDv1 while eliminating the inductive bias introduced by its handcrafted instance-level representation, thus promoting better general applicability. To this end, we introduce the concept of extbf{virtual voxels}, which takes over the clustering-based instance segmentation in FSDv1. Virtual voxels not only address the notorious issue of the Center Feature Missing problem in fully sparse detectors but also endow the framework with a more elegant and streamlined approach. Consequently, we develop a suite of components to complement the virtual voxel concept, including a virtual voxel encoder, a virtual voxel mixer, and a virtual voxel assignment strategy. Through empirical validation, we demonstrate that the virtual voxel mechanism is functionally similar to the handcrafted clustering in FSDv1 while being more general. We conduct experiments on three large-scale datasets: Waymo Open Dataset, Argoverse 2 dataset, and nuScenes dataset. Our results showcase state-of-the-art performance on all three datasets, highlighting the superiority of FSDv2 in long-range scenarios and its general applicability to achieve competitive performance across diverse scenarios. Moreover, we provide comprehensive experimental analysis to elucidate the workings of FSDv2. To foster reproducibility and further research, we have open-sourced FSDv2 at https://github.com/tusen-ai/SST.

연구 동기 및 목표

• 수동 클러스터링으로 인해 FSDv1에서 유도되는 인덕티브 바이어스 문제를 해결함으로써 다양한 시나리오에 대한 일반 적용 가능성을 높이기 위해.
• 희소 검출기에서 발생하는 중심 특징 누락(Center Feature Missing, CFM) 문제를 제거하기 위해 인스턴스 수준 특징을 가상 볼록체로 대체하기 위해.
• 클러스터링 및 SIR 모듈과 같은 복잡한 구성 요소를 제거함으로써 완전히 희소 검출 파이프라인을 단순화하기 위해.
• 효율성을 희생시키지 않고도 다양한 대규모 3D 검출 벤치마크에서 최신 기준 성능을 달성하기 위해.
• 규칙 기반 인스턴스 세분화 대신 학습 가능한, 미분 가능한 가상 볼록체 메커니즘을 도입함으로써 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 가상 볼록체를 도입하기 위해 중심점 투표 점—객체 중심을 나타내는 인공 점—을 볼록화함으로써 클러스터링 기반의 인스턴스 표현을 대체한다.
• 동일한 객체에 속하는 가상 볼록체 간의 특징을 집계하는 경량의 희소 가상 볼록체 믹서(Virtual Voxel Mixer, VVM)를 설계하여 특징의 완전성을 향상시킨다.
• 가상 볼록체를 바운딩 박스 예측의 앵커 포인트로 사용함으로써 회귀 타겟의 분산을 줄이고 학습 안정성을 향상시킨다.
• 예측된 특징을 가상 볼록체에 할당하는 전략을 적용하여 직접 검출 헤드 추론을 가능하게 한다.
• 효율적인 포인트 클라우드 인코딩을 위해 희소 백본(예: Sparse-UNet)을 사용하고, 중심점 투표 및 가상 볼록체화를 수행한다.
• 가상 볼록체 메커니즘을 완전히 희소 파이프라인에 통합함으로써 엔드 투 엔드 미분 가능성과 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 가상 볼록체가 수동 클러스터링 기반의 인스턴스 수준 표현을 효과적으로 대체할 수 있는가? 이는 인덕티브 바이어스를 줄이는 데 기여하는가?
• RQ2 가상 볼록체 메커니즘이 희소 포인트 클라우드 검출에서 중심 특징 누락(Center Feature Missing, CFM) 문제를 어떻게 완화하는가?
• RQ3 수동 클러스터링을 학습 가능한 가상 볼록체화로 대체함으로써 다양한 3D 검출 벤치마크에서 일반화 능력이 향상되는가?
• RQ4 FSDv2의 성능은 장거리 및 혼잡한 시나리오에서 FSDv1 및 최신 기준(SOTA) 방법과 비교해 어떻게 되는가?
• RQ5 가상 볼록체 크기 및 설계 선택 사항이 검출 정확도와 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• FSDv2는 Waymo Open Dataset에서 최신 기준 mAP 62.0을 달성하여 FSDv1 및 이전의 SOTA 방법을 초월한다.
• nuScenes 데이터셋에서 FSDv2는 NDS 68.5와 mAP 62.0을 기록하여 다양한 시나리오에서 강력한 일반화 능력을 입증한다.
• Argoverse 2에서 FSDv2는 전체 학습 및 증강 설정을 사용하여 mAP 37.6을 달성했으며, FSDv1의 28.2 mAP 대비 뚜렷한 성능 향상을 보였다.
• 가상 볼록체 메커니즘은 객체 중심에 맞춰진 가상 볼록체를 앵커로 사용함으로써 양성-음성 샘플 불균형과 회귀 분산을 감소시킨다.
• 가상 볼록체 크기에 대해 성능이 강건하며, 더 큰 크기(예: 0.5×0.5×0.4 m)에서 객체 크기 불균형이 감소하여 略적으로 더 좋은 결과를 얻는다.
• 런타임 평가 결과 FSDv2는 VVM 모듈이 추가되었음에도 불구하고 FSDv1와 거의 유사한 효율성을 보였으며, 총 지연 시간이 단 2.5ms 증가에 그쳤다.