[논문 리뷰] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

Haotian Tang, Zhijian Liu외 5명|arXiv (Cornell University)|2020. 07. 31.

Advanced Neural Network Applications참고 문헌 76인용 수 36

한 줄 요약

Sparse Point-Voxel Convolution (SPVConv)을 도입하여 대형 3D 장면에서 미세한 디테일을 보존하고, 3D-NAS를 통해 효율적인 3D 아키텍처를 자동으로 탐색합니다. SemanticKITTI와 KITTI에서 계산량과 지연이 줄어들면서도 최첨단 정확도를 달성합니다.

ABSTRACT

Self-driving cars need to understand 3D scenes efficiently and accurately in order to drive safely. Given the limited hardware resources, existing 3D perception models are not able to recognize small instances (e.g., pedestrians, cyclists) very well due to the low-resolution voxelization and aggressive downsampling. To this end, we propose Sparse Point-Voxel Convolution (SPVConv), a lightweight 3D module that equips the vanilla Sparse Convolution with the high-resolution point-based branch. With negligible overhead, this point-based branch is able to preserve the fine details even from large outdoor scenes. To explore the spectrum of efficient 3D models, we first define a flexible architecture design space based on SPVConv, and we then present 3D Neural Architecture Search (3D-NAS) to search the optimal network architecture over this diverse design space efficiently and effectively. Experimental results validate that the resulting SPVNAS model is fast and accurate: it outperforms the state-of-the-art MinkowskiNet by 3.3%, ranking 1st on the competitive SemanticKITTI leaderboard. It also achieves 8x computation reduction and 3x measured speedup over MinkowskiNet with higher accuracy. Finally, we transfer our method to 3D object detection, and it achieves consistent improvements over the one-stage detection baseline on KITTI.

연구 동기 및 목표

• 자율주행에서 제한된 하드웨어 제약하에 정확한 3D 인지의 필요성을 제시합니다.
• SPVConv를 제안하여 prohibitive한 계산 없이 미세 디테일을 보존합니다.
• resource 제약 하에 3D 아키텍처 설계를 자동화하는 3D-NAS를 제시합니다.
• 큰 실외 장면 및 3D 객체 검출 작업에서의 개선을 시연합니다.

제안 방법

• 고해상도 포인트 기반 분기와 희소 보셀 기반 분기를 결합한 Sparse Point-Voxel Convolution (SPVConv)을 제안합니다.
• 해시 테이블을 이용한 GPU 가속 희소 보셀화/디보셀화 파이프라인으로 O(m+n) 조정 인덱싱을 달성합니다.
• 교차 분기 보간 후 가합으로 포인트 기반 MLP 피처를 희소 보셀 피처와 융합합니다.
• SPVCNN을 백본으로 구성하고 3D-NAS를 적용하여 미세한 채널 선택과 탄력적 깊이를 포함하는 조밀한 설계 공간에서 효율적인 아키텍처를 탐색합니다.
• 단일 슈퍼 네트워크를 가중치 공유와 점진적인 깊이 축소로 학습하여 많은 후보 아키텍처를 효율적으로 탐색합니다.
• MACs 기반 자원 제약 하에서 모델을 선택하기 위한 진화적 아키텍처 탐색을 수행하고, 희소 레이어의 MACs를 데이터셋 통계로 추정합니다.

실험 결과

연구 질문

• RQ1 제한된 계산에서 SPVConv가 대형 3D 장면에서 작은 물체 인식에 어떤 이점을 제공하는가?
• RQ2 자동화된 아키텍처 탐색(3D-NAS)이 고정 자원 예산 하에서 수동으로 설계된 기준선보다 뛰어난 효율적인 3D 모델을 발견할 수 있는가?
• RQ3 3D 의미론적 분할 및 객체 검출 작업에서 모델 크기, 계산, 지연, 정확도 간의 트레이드오프는 무엇인가?
• RQ4 고해상도 포인트 분기와 희소 보셀 분기를 결합한 방법이 KITTI의 분할에서 3D 검출로 일반화되는가?

주요 결과

Model	해당 매개변수 수 (M)	#MACs (G)	Latency (ms)	mIoU
MinkowskiNet [9]	21.7	114.0	294	63.1
SPVNAS (Ours)	2.6	15.0	110	63.7

• SPVNAS는 SemanticKITTI에서 mIoU 기준으로 MinkowskiNet보다 3.3% 더 높은 성능을 보이며 모델 크기와 계산이 감소합니다.
• SPVNAS는 MinkowskiNet에 비해 8배의 계산 감소와 3배의 실제 속도 향상을 달성하면서도 더 높은 정확도를 유지합니다.
• SPVNAS는 KITTI에서 특히 자전거 이용자에 대해 강력한 1단계 기준선 대비 탐지 성능이 향상되었습니다.
• SPVConv 모듈은 작은 객체에서 큰 이점을 제공하며 SemanticKITTI에서 클래스별 개선으로 입증됩니다.
• 3D-NAS는 채널 분포와 깊이를 균형 있게 조정하여 정확도를 희생하지 않으면서 지연을 크게 줄이는 매우 효율적인 아키텍처를 발견합니다.