[논문 리뷰] PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds

Jinyu Li, Chenxu Luo외 1명|arXiv (Cornell University)|2023. 05. 08.

Advanced Neural Network Applications인용 수 7

한 줄 요약

PillarNeXt는 네트워크 설계를 재고함으로써 LiDAR 점군을 위한 간소화된 그러나 매우 효과적인 3D 객체 검출 프레임워크를 제안한다: 현대화된 2D 검출 기법—특히 확대된 수신장치와 최적화된 훈련—을 활용한 피라미드 기반 특징 인코딩을 통해 Waymo Open Dataset 및 nuScenes에서 최신 기술 수준의 성능을 달성하며, 복잡한 기하학 전용 모델들을 능가하면서도 낮은 지연 시간을 유지한다.

ABSTRACT

In order to deal with the sparse and unstructured raw point clouds, LiDAR based 3D object detection research mostly focuses on designing dedicated local point aggregators for fine-grained geometrical modeling. In this paper, we revisit the local point aggregators from the perspective of allocating computational resources. We find that the simplest pillar based models perform surprisingly well considering both accuracy and latency. Additionally, we show that minimal adaptions from the success of 2D object detection, such as enlarging receptive field, significantly boost the performance. Extensive experiments reveal that our pillar based networks with modernized designs in terms of architecture and training render the state-of-the-art performance on the two popular benchmarks: Waymo Open Dataset and nuScenes. Our results challenge the common intuition that the detailed geometry modeling is essential to achieve high performance for 3D object detection.

연구 동기 및 목표

• LiDAR 점군에서 고성능 3D 객체 검출을 위해 세밀한 국소 기하 모델링이 필수적이라는 일반적인 가정을 도전하기 위해.
• 계산 자원이 국소 점 집합 모듈에 할당되는 것보다 현대화된 네트워크 아키텍처에 할당되는 것이 더 바람직한지 조사하기 위해.
• 2D 객체 검출 기술의 발전—예를 들어 더 큰 수신장치와 향상된 훈련 전략—이 3D 검출 프레임워크에 어떻게 기여할 수 있는지 평가하기 위해.
• 향후 LiDAR 기반 3D 객체 검출 분야의 연구를 위한 강력하고 확장 가능하며 효율적인 기준을 설정하기 위해.

제안 방법

• 희소 점군을 정규 격자로 변환하기 위해 피라미드 기반 특징 인코더를 사용하여 효율적인 2D 컨볼루션 연산을 가능하게 한다.
• 수신장치 확대 및 성능 향상을 위한 Swin Transformer 기반 백본과 BiFPN 넥스를 포함한 현대화된 2D 검출 구성 요소를 적용한다.
• 핵심 설계 선택은 최종 검출 헤드 단계에서 수신장치를 확대하여 성능을 향상시키며, 다중 스케일 융합을 대체한다.
• 더 나은 일반화를 위해 CBGS 재샘플링 및 페이드드 복사-붙여넣기 데이터 증강 기법과 같은 고급 훈련 기법을 적용한다.
• 네트워크 깊이와 너비를 조정하여 정확도와 추론 속도 양면에서 최적화하여 차량 내 및 외부 시스템에의 구현을 가능하게 한다.
• 복잡한 점군 전용 모듈을 피하고, BEV 공간에 적응된 검증된 2D 검출 기법에 의존한다.

실험 결과

연구 질문

• RQ1 계산 자원이 동일하게 할당되었을 때, 더 단순한 피라미드 기반 국소 점 집합 모듈이 복잡한 벽돌 기반 또는 다중 시야 융합 방법보다 우수한 성능을 내는가?
• RQ2 2D 객체 검출의 발전—예를 들어 더 큰 수신장치와 향상된 훈련—이 LiDAR 점군에서의 3D 검출 성능 향상에 어느 정도 기여할 수 있는가?
• RQ3 특수 3D 기하 모델링 구성 요소 없이도 단일 단계 피라미드 기반 검출기가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 Waymo 및 nuScenes와 같은 표준 벤치마크에서 피라미드 기반 모델의 성능이 선도적인 벽돌 기반 및 다중 시야 융합 모델과 비교해 어떻게 되는가?

주요 결과

• PillarNeXt-B는 Waymo Open Dataset 테스트 세트에서 84.40% 3D mAP와 81.44% BEV mAP를 기록하여, 테스트 시점 증강 없이도 최신 기술 수준의 방법들을 능가한다.
• nuScenes에서 PillarNeXt-B는 68.8% NDS와 62.5% mAP를 기록하여, mAP 측면에서 모든 선도적인 벽돌 기반 및 다중 시야 융합 모델을 뛰어넘으면서도 높은 효율성을 유지한다.
• 피라미드 기반 모델은 보행자 및 교통봉과 같은 소형 객체에서 벽돌 기반 모델과 유사하거나 더 우수한 성능을 기록하여, 세밀한 기하학적 정보가 필수적이라는 믿음에 도전한다.
• 최종 검출 헤드 단계에서 수신장치를 확대하는 것은 다중 스케일 특징 융합 전략을 사용한 이전 연구들보다 성능 향상에 크게 기여한다.
• 최소한의 아키텍처 수정으로 최신 기술 수준의 성능를 달성하여, 현대화된 2D 검출 기법이 3D LiDAR 검출에 매우 이식 가능하다는 것을 입증한다.
• PillarNeXt의 단일 프레임 버전조차도 200프레임 시퀀스를 사용해 정밀도를 향상시키는 3DAL과 같은 다중 프레임 방법을 능가하며, 이는 모델의 강력한 특징 학습 능력을 입증한다.