[논문 리뷰] DRINet++: Efficient Voxel-as-point Point Cloud Segmentation

Maosheng Ye, Rui Wan외 3명|arXiv (Cornell University)|2021. 11. 16.

3D Shape Modeling and Analysis참고 문헌 59인용 수 16

한 줄 요약

DRINet++는 단일 희소 바이트 표현에서 바이트를 점으로 간주함으로써 희소성과 기하학적 특성을 효율적으로 활용하는 점군 세분화 네트워크를 제안한다. 다중 척도 투영과 주의 집중형 융합을 통한 희소 특징 인코더 및 희소 기하학적 특징 향상 기법을 도입하여, SemanticKITTI와 nuScenes에서 최신 기술 수준의 성능을 달성하며, 추론 시간은 59ms, 이전 방법 대비 30% 낮은 메모리 사용량을 기록한다.

ABSTRACT

Recently, many approaches have been proposed through single or multiple representations to improve the performance of point cloud semantic segmentation. However, these works do not maintain a good balance among performance, efficiency, and memory consumption. To address these issues, we propose DRINet++ that extends DRINet by enhancing the sparsity and geometric properties of a point cloud with a voxel-as-point principle. To improve efficiency and performance, DRINet++ mainly consists of two modules: Sparse Feature Encoder and Sparse Geometry Feature Enhancement. The Sparse Feature Encoder extracts the local context information for each point, and the Sparse Geometry Feature Enhancement enhances the geometric properties of a sparse point cloud via multi-scale sparse projection and attentive multi-scale fusion. In addition, we propose deep sparse supervision in the training phase to help convergence and alleviate the memory consumption problem. Our DRINet++ achieves state-of-the-art outdoor point cloud segmentation on both SemanticKITTI and Nuscenes datasets while running significantly faster and consuming less memory.

연구 동기 및 목표

• 자율주행을 위한 점군 세분화에서 성능, 효율성, 메모리 소비 간의 상충 관계를 해결하기 위해.
• 단일 희소 바이트 표현을 '점'으로 간주할 경우, 다중 표현 융합 없이도 희소성과 기하학적 특성을 충분히 활용할 수 있는지 탐색하기 위해.
• 세분화 정확도를 유지하거나 향상시키면서도 메모리 사용량과 학습 비용을 줄이기 위해.
• 대규모 실외 점군에 잘 스케일링되는 경량이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• DRINet++는 희소 바이트 표현에서 바이트를 점으로 간주하여 점 연산을 가능하게 하여 메모리와 계산량을 감소시킨다.
• 바이트 점에서 국소적 맥락 특징을 추출하기 위해 희소 특징 인코더(SFE)를 도입한다.
• 다중 척도 희소 투영을 사용하여 계층적 기하학적 특징 학습을 위한 희소 기하학적 특징 향상(SGFE) 모듈을 설계한다.
• 다중 척도 특징을 선택적으로 융합하여 기하학적 표현을 향상시키기 위해 주의 집중형 다중 척도 융합(AMF) 레이어를 도입한다.
• 학습 중에 깊이 있는 희소 지도를 적용하여 메모리 소비를 줄이고 수렴 속도를 가속화한다.
• SFE와 SGFE 모듈 간에 반복적인 특징 개선을 수행하여 최소한의 오버헤드로 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 희소 표현에서 바이트를 점으로 간주하는 것이 다중 표현 융합 기반 접근 방식보다 더 높은 성능과 효율성을 달성할 수 있는가?
• RQ2 바이트를 점으로 간주하는 원칙이 대규모 점군 세분화에서 메모리 소비와 추론 속도에 어떤 영향을 미치는가?
• RQ3 다중 척도 희소 투영과 주의 집중형 융합이 희소 점군에서 기하학적 특징 학습을 얼마나 향상시킬 수 있는가?
• RQ4 깊이 있는 희소 지도가 정확도나 수렴 속도를 떨어뜨리지 않고 메모리 사용량을 크게 줄일 수 있는가?

주요 결과

• DRINet++는 SemanticKITTI 검증 세트에서 최신 기술 수준의 mIoU 71.0%를 달성하여 DRINet, SPVCNN 및 기타 최신 기술 수준의 방법들을 능가한다.
• 모델은 NVIDIA RTX 2080Ti에서 프레임당 59ms로 실행되어 높은 추론 효율성을 보여준다.
• 바이트를 점으로 간주하는(VAP) 설계는 비-VAP 기반 모델 대비 약 30%의 메모리 사용량 감소를 이끌었으며, mIoU는 0.2% 감소에 그친다.
• 깊이 있는 희소 지도는 메모리 프로파일을 단 1.4GB로 줄였고(밀도 있는 지도 대비 552MB), 더 큰 배치 크기와 더 빠른 학습을 가능하게 한다.
• Ablation 연구에서 주의 집중형 다중 척도 융합(AMF) 레이어는 텐서 합산 대비 mIoU를 2.0% 향상시키고, 연결 대비 1.2% 향상시켰다.
• SPVCNN 및 DRINet와 같은 다른 모델에 적용했을 때, 깊이 있는 희소 지도는 추가 추론 비용 없이 mIoU를 최대 2.0% 향상시켰다.