[논문 리뷰] Rethinking Dimensionality Reduction in Grid-based 3D Object Detection

Dihe Huang, Ying Chen외 8명|arXiv (Cornell University)|2022. 09. 20.

Robotics and Sensor-Based Localization인용 수 6

한 줄 요약

이 논문은 격자 기반 3D 객체 검출을 위한 새로운 백본인 MDRNet을 제안하며, 공간 인식 차원 축소(Spatial-aware Dimensionality Reduction, SDR)와 다중 수준 공간 잔차(Multi-level Spatial Residuals, MSR)를 도입하여 특징 학습을 향상시킨다. SDR는 공간 분포 추정을 통해 Z축 방향으로 복셀 특징을 동적으로 집계하고, MSR는 추론 비용 증가 없이 다중 수준 3D 및 BEV 특징을 융합한다. 이 방법은 보다 작은 복셀 크기를 사용한 기존 방법들인 CenterPoint를 능가하는 성능을 보이며, nuScenes에서 61.18%의 mAP와 67.91%의 NDS를 기록하여 최신 기술 수준을 확립한다.

ABSTRACT

Bird's eye view (BEV) is widely adopted by most of the current point cloud detectors due to the applicability of well-explored 2D detection techniques. However, existing methods obtain BEV features by simply collapsing voxel or point features along the height dimension, which causes the heavy loss of 3D spatial information. To alleviate the information loss, we propose a novel point cloud detection network based on a Multi-level feature dimensionality reduction strategy, called MDRNet. In MDRNet, the Spatial-aware Dimensionality Reduction (SDR) is designed to dynamically focus on the valuable parts of the object during voxel-to-BEV feature transformation. Furthermore, the Multi-level Spatial Residuals (MSR) is proposed to fuse the multi-level spatial information in the BEV feature maps. Extensive experiments on nuScenes show that the proposed method outperforms the state-of-the-art methods. The code will be available upon publication.

연구 동기 및 목표

• 격자 기반 3D 객체 검출기에서 차원 축소 과정에서 발생하는 3D 공간 정보 손실, 특히 오토바이나 자전거와 같은 복잡한 기하학적 특성을 가진 객체에 대해 해결하고자 한다.
• 계산 비용 증가 없이 BEV 특징 학습을 향상시킬 수 있는 보편적인 백본을 설계하고자 한다.
• 격자 기반 검출기에서 다양한 차원 축소 연산의 영향을 조사하고, 3D 기하 정보를 유지하는 데 최적의 전략을 규명하고자 한다.
• 복셀에서 BEV로의 변환 과정에서 적응형이고 공간 인식 기반의 특징 집계를 가능하게 하여 다양한 객체 유형의 검출 정확도를 향상시키고자 한다.

제안 방법

• 경량 복셀 브랜치와 BEV 브랜치로 구성된 이중 브랜치 네트워크 아키텍처를 제안하여 다중 수준 특징 융합을 가능하게 한다.
• 공간 인식 차원 축소(Spatial-aware Dimensionality Reduction, SDR)를 도입하여 공간 분포 추정을 통해 Z축 방향으로 복셀 특징을 동적으로 가중 및 집계한다.
• 각 단계에서 복셀 및 BEV 특징을 융합하기 위해 다중 수준 공간 잔차(Multi-level Spatial Residuals, MSR)를 활용하여 계층적인 3D 기하 정보를 유지한다.
• ReLU, Sigmoid, 또는 Softmax를 통해 학습된 주의 가중치를 활용해 특징 집계를 유도하며, Softmax가 가장 우수한 성능을 보였다.
• SDR를 통해 초도 BEV 특징을 생성하고, MSR를 통해 다중 수준 3D 컨텍스트를 점진적으로 BEV 특징에 통합한다.
• 플러그인 백본으로 설계되어 기존의 격자 기반 검출기인 CenterPoint나 PV-RCNN에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 Z축 방향으로 적응형 차원 축소가 BEV 기반 검출기의 3D 객체 검출 성능에 어떤 영향을 미치는가?
• RQ2 복셀에서 BEV로의 변환 과정에서 특징 집계를 유도하는 데 최적의 공간 상관관계 분포 형태(예: ReLU, Sigmoid, Softmax)는 무엇인가?
• RQ3 다중 수준 3D-BEV 특징 융합이 추론 시간 증가 없이 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 CenterPoint와 같은 강력한 기준 모델을 초월해 다양한 객체 유형, 특히 복잡한 기하학적 특성을 가진 객체에서 성능을 높일 수 있는 보편적 백본인 MDRNet은 가능한가?
• RQ5 고정 풀링을 동적이고 공간 인식 기반의 집계로 대체할 경우, 오토바이나 자전거와 같은 도전적인 객체의 검출 성능이 향상되는가?

주요 결과

• MDRNet는 nuScenes 검증 세트에서 61.18%의 mAP와 67.91%의 NDS를 기록하여, 7.5cm 복셀 크기를 사용한 원본 CenterPoint를 능가한다.
• SDR-Softmax 버전은 모든 차원 축소 연산 중에서 가장 뛰어난 성능을 보이며, 61.18%의 mAP와 67.91%의 NDS를 기록했다.
• 모든 네 단계에 MSR를 추가하면 기준 모델 대비 mAP가 +2.25% 향상되고 NDS는 +1.44% 향상되었다.
• 10cm 복셀 크기를 사용한 MDRNet는 7.5cm 복셀 크기를 사용한 CenterPoint를 능가했으며, 이는 더 나은 특징 학습이 더粗略한 복셀화를 상쇄할 수 있음을 보여준다.
• MDRNet의 추론 런타임은 CenterPoint와 거의 동일했으며(100ms 대비 99ms), 성능 향상이 계산 비용 증가 없이 달성됨을 입증했다.
• 정성적 결과 분석을 통해 SDR가 오토바이의 몸체나 바퀴와 같은 주요 영역을 효과적으로 강조함으로써 공간 인식 능력 향상이 확인되었다.