[논문 리뷰] PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection

Guangsheng Shi, Ruifeng Li외 1명|arXiv (Cornell University)|2022. 05. 16.

Advanced Neural Network Applications인용 수 9

한 줄 요약

PillarNet는 기둥 특징 학습을 위한 강력한 계층적 인코더, 다중 스케일 넥, 방향성 분리된 IoU 회귀 손실을 도입함으로써 오직 2D 컨볼루션만을 사용하여 실시간으로 고성능 3D 객체 검출기를 제안한다. 이는 nuScenes와 Waymo Open Dataset에서 최신 기술 수준의 성능을 달성하며, nuScenes에서 16 FPS, Waymo에서 21 FPS를 기록하여 이전의 기둥 기반 및 벽체 기반 검출기보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Real-time and high-performance 3D object detection is of critical importance for autonomous driving. Recent top-performing 3D object detectors mainly rely on point-based or 3D voxel-based convolutions, which are both computationally inefficient for onboard deployment. In contrast, pillar-based methods use solely 2D convolutions, which consume less computation resources, but they lag far behind their voxel-based counterparts in detection accuracy. In this paper, by examining the primary performance gap between pillar- and voxel-based detectors, we develop a real-time and high-performance pillar-based detector, dubbed PillarNet.The proposed PillarNet consists of a powerful encoder network for effective pillar feature learning, a neck network for spatial-semantic feature fusion and the commonly used detect head. Using only 2D convolutions, PillarNet is flexible to an optional pillar size and compatible with classical 2D CNN backbones, such as VGGNet and ResNet. Additionally, PillarNet benefits from our designed orientation-decoupled IoU regression loss along with the IoU-aware prediction branch. Extensive experimental results on the large-scale nuScenes Dataset and Waymo Open Dataset demonstrate that the proposed PillarNet performs well over state-of-the-art 3D detectors in terms of effectiveness and efficiency. Code is available at \url{https://github.com/agent-sgs/PillarNet}.

연구 동기 및 목표

• 기둥 기반 및 벽체 기반 3D 검출기 간의 성능 격차를 해소하기 위해, 낮은 계산 비용에도 불구하고 정확도가 떨어지는 문제를 해결하고자 한다.
• 자율 주행 플랫폼에서 실시간 추론을 가능하게 하기 위해 계산 부담을 최소화하면서도 검출 정확도를 극대화하고자 한다.
• 오직 2D 컨볼루션만을 사용하여 다양한 기둥 크기와 모델 복잡도를 지원할 수 있는 유연하고 확장 가능한 아키텍처를 설계하고자 한다.
• 방향성 분리된 IoU 회귀 및 IoU 인식 보정을 포함한 새로운 손실 설계를 통해 국소화 정확도를 향상시키고자 한다.
• 잘 설계된 기둥 기반 검출기가 속도와 정확도 면에서 최신 기술 수준의 벽체 기반 모델을 초월할 수 있음을 입증하고자 한다.

제안 방법

• 스테이지 5에서 더 넓은 수신 영역을 확보하기 위해 스테이지 5를 제외한 나머지 스테이지에 희소 2D 컨볼루션을 사용하는 다섯 단계의 인코더 네트워크를 제안하여 계층적 기둥 특징 학습을 수행한다.
• 스테이지 5의 고수준 의미 특징과 스테이지 4의 저수준 공간 특징을 융합하기 위해 스택된 컨볼루션 레이어를 갖춘 넥 모듈을 도입하여 다중 스케일 표현을 향상시킨다.
• 기둥 크기에 따라 인코더 스테이지를 동적으로 제거할 수 있도록 하는 탄력적인 아키텍처를 구현하여 다양한 해상도 요구 사항에 대응할 수 있도록 한다.
• 박스 회귀에서 방향 예측을 분리함으로써 국소화 정확도를 향상시키기 위해 방향성 분리된 IoU(OD-IoU) 회귀 손실을 설계한다.
• 분류 점수와 국소화 신뢰도를 일치시키기 위해 IoU 인식 보정 브랜치를 통합하여 mAP 및 NDS를 향상시킨다.
• 기존 모델 및 훈련 파이프라인과의 호환성을 확보하기 위해 VGG 및 ResNet과 같은 표준 2D CNN 백본을 지원한다.

실험 결과

연구 질문

• RQ1 오직 2D 컨볼루션만을 사용하여 실시간 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는 기둥 기반 3D 검출기가 가능한가?
• RQ2 기둥 특징 인코딩을 향상시키고 벽체 기반 검출기와의 정확도 격차를 줄이기 위해 가장 중요한 아키텍처 구성 요소는 무엇인가?
• RQ3 기둥 크기의 선택이 검출 성능에 어떤 영향을 미치며, 모델이 다양한 기둥 크기에 대해 탄력적으로 적응할 수 있는가?
• RQ4 OD-IoU 및 IoU 인식 보정과 같은 새로운 손실 함수가 국소화 정확도 및 mAP/NDS 점수에 얼마나 기여하는가?
• RQ5 확장 가능하고 모듈식인 설계가 성능을 희생시키지 않고 다양한 하드웨어 제약 조건에 걸쳐도 구현 가능할 수 있는가?

주요 결과

• PillarNet-18은 nuScenes 검증 세트에서 59.41% mAP 및 67.09% NDS를 달성하여 CenterPoint-SECOND 및 PointPillars를 초월한다.
• 스테이지 5 인코더를 포함한 전체 PillarNet-18은 nuScenes에서 16 FPS에서 59.48% mAP 및 67.15% NDS를 기록하여 뛰어난 속도-정확도 트레이드오���을 보여준다.
• 0.2m에서 0.075m로 더 미세한 기둥 크기를 사용할 경우 성능 향상이著명하며, 0.2m 기준 PointPillars 대비 +1.61% mAP 향상을 기록한다.
• 방향성 분리된 IoU(OD-IoU) 손실이 가장 높은 성능 향상을 이끌었으며, 기준 손실 대비 mAP +0.24% 및 NDS +0.24% 향상되었다.
• IoU 인식 보정은 mAP를 +0.34% 향상시켜 분류 및 국소화 신뢰도를 일치시키는 데 효과적임을 입증한다.
• 0.6m 기둥 크기로도 PillarNet는 57.87% mAP 및 66.05% NDS를 기록하여 조밀한 해상도에서도 강력한 성능을 보이며 아키텍처의 강건성을 입증한다.