[논문 리뷰] Multi Point-Voxel Convolution (MPVConv) for Deep Learning on Point Clouds

Wei Zhou, Xin Cao외 4명|arXiv (Cornell University)|2021. 07. 28.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 3D CNN과 MLP를 사용하여 점 기반 및 복셀 기반 특징을 통합함으로써 이웃 집합 강화와 복셀 특징의 독립성을 향상시키는 새로운 3D CNN 모듈인 Multi Point-Voxel Convolution (MPVConv)을 제안한다. MPVConv는 PointNet의 정확도를 최대 36% 향상시키고 복셀 기반 모델 대비 최대 34배 빠른 속도를 달성하여 저지연성으로 최신 기술을 초월한다.

ABSTRACT

The existing 3D deep learning methods adopt either individual point-based features or local-neighboring voxel-based features, and demonstrate great potential for processing 3D data. However, the point based models are inefficient due to the unordered nature of point clouds and the voxel-based models suffer from large information loss. Motivated by the success of recent point-voxel representation, such as PVCNN, we propose a new convolutional neural network, called Multi Point-Voxel Convolution (MPVConv), for deep learning on point clouds. Integrating both the advantages of voxel and point-based methods, MPVConv can effectively increase the neighboring collection between point-based features and also promote independence among voxel-based features. Moreover, most of the existing approaches aim at solving one specific task, and only a few of them can handle a variety of tasks. Simply replacing the corresponding convolution module with MPVConv, we show that MPVConv can fit in different backbones to solve a wide range of 3D tasks. Extensive experiments on benchmark datasets such as ShapeNet Part, S3DIS and KITTI for various tasks show that MPVConv improves the accuracy of the backbone (PointNet) by up to extbf{36\%}, and achieves higher accuracy than the voxel-based model with up to extbf{34}$ imes$ speedups. In addition, MPVConv outperforms the state-of-the-art point-based models with up to extbf{8}$ imes$ speedups. Notably, our MPVConv achieves better accuracy than the newest point-voxel-based model PVCNN (a model more efficient than PointNet) with lower latency.

연구 동기 및 목표

• 3D 점군 학습에서 점 기반 모델의 비효율성과 복셀 기반 모델의 정보 손실 문제를 해결하기 위해.
• 세분화 및 3D 검출과 같은 다양한 작업을 지원하는 일반 목적의 3D 딥러닝 모듈을 설계하기 위해.
• 점 표현의 이웃 집합 강화와 복셀 표현의 특징 독립성이라는 두 가지 장점을 통합된 효율적인 아키텍처 내에서 융합하기 위해.
• PointNet과 같은 기존 백본에 쉽게 통합할 수 있도록 플러그 앤 플레이 방식을 제공하여 다양한 3D 비전 작업에 광범위하게 적용 가능하게 하기 위해.

제안 방법

• MPVConv는 점 기반 특징과 복셀 기반 특징를 각각 처리하는 별도의 3D CNN 및 MLP 브랜치를 갖춘 다중 브랜치 아키텍처를 사용한다.
• 1×1×1 3D 컨볼루션을 활용하여 점 및 복셀 표현 간의 교차 모odal 특징 상호작용을 융합하고 강화한다.
• 융합 모듈은 두 브랜치의 특징을 통합하여 메모리나 지연 시간에 큰 부담 없이 특징 표현을 향상시킨다.
• 다중 해상도에서 점과 복셀을 처리함으로써 다중 척도 특징 학습을 적용하여 국소 기하학적 이해를 강화한다.
• 계층적 특징 융합을 활용하여 점 기반 특징의 국소 이웃 연결성을 강화한다.
• 모듈러하고 다양한 백본과 호환되는 아키텍처로 설계되어 다양한 3D 작업에 쉽게 적응할 수 있다.

Figure 1: MPVConv increases neighborhood collection in point-based features and independence in voxel-based features by adopting 3D CNNs and MLPs on both types of features.

실험 결과

연구 질문

• RQ1 통합된 3D 컨볼루션 모듈이 점 기반 및 복셀 기반 딥러닝의 장점을 효과적으로 융합하여 성능과 효율성을 향상시킬 수 있는가?
• RQ2 MPVConv는 점 기반 특징의 이웃 수집을 어떻게 향상시키고 복셀 기반 특징의 독립성을 어떻게 증진하는가?
• RQ3 MPVConv는 파트 세분화, 실내 환경 세분화, 3D 검출과 같은 다양한 3D 작업에서 정확도와 속도를 얼마나 향상시킬 수 있는가?
• RQ4 PVCNN 및 F-PointNet과 같은 최신 기술 모델과 비교할 때 MPVConv는 정확도, 추론 속도, 메모리 효율성 측면에서 어떤가?
• RQ5 MPVConv는 PointNet과 같은 기존 백본에 원활하게 통합되어 다양한 벤치마크에서 성능을 향상시킬 수 있는가?

주요 결과

• MPVConv는 ShapeNet Part 데이터셋에서 PointNet 백본의 정확도를 최대 36% 향상시켜 mIoU 85.76%를 달성한다.
• S3DIS 데이터셋에서 MPVConv는 대규모 실내 환경 세분화 작업에서 mIoU 79.85%를 기록하여 F-PVCNN 및 기타 베이스라인을 능가한다.
• KITTI에서의 3D 검출 작업에서 F-MPVCNN은 F-PointNet 대비 mAP을 최대 13.2% 향상시키고, 하드 보행자 클래스에선 F-PointNet++ 대비 8.6% 향상시켰다.
• MPVConv는 복셀 기반 모델 대비 최대 34배의 속도 향상을 달성하면서도 더 높은 정확도를 유지하여 뛰어난 효율성을 입증했다.
• MPVConv 내 1×1×1 3D 컨볼루션 레이어는 mIoU를 0.04% 향상시키며 단지 0.4ms 지연 증가와 0.009GB 메모리 오버헤드만을 유발한다.
• 절단 분석 결과, 융합 모듈과 복합 특징 구성 요소(V₁ + V₂ + P₂)가 성능 향상에 핵심적임을 확인하였으며, 전체 MPVConv 설정이 최고의 성능을 내는 것으로 나타났다.

Figure 2: Segmentation results on ShapeNet Part. (a)(c) Ground truth. (b)(d) Our results.