[논문 리뷰] Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation

Xinge Zhu, Hui Zhou외 6명|arXiv (Cornell University)|2020. 11. 19.

Advanced Neural Network Applications참고 문헌 53인용 수 34

한 줄 요약

이 논문은 외부 LiDAR 의미 분할을 위해 원기둥 분할과 비대칭 3D 합성곱 네트워크(CyAs)를 제시하여 희박하고 밀도 변동이 큰 야외 포인트 클라우드에서 3D 기하 모형화를 개선하고 SemanticKITTI 및 nuScenes에서 최첨단 성능을 달성하며 파노픽 분할 및 3D 탐지로의 일반화도 양호하다고 요약합니다.

ABSTRACT

State-of-the-art methods for large-scale driving-scene LiDAR segmentation often project the point clouds to 2D space and then process them via 2D convolution. Although this corporation shows the competitiveness in the point cloud, it inevitably alters and abandons the 3D topology and geometric relations. A natural remedy is to utilize the3D voxelization and 3D convolution network. However, we found that in the outdoor point cloud, the improvement obtained in this way is quite limited. An important reason is the property of the outdoor point cloud, namely sparsity and varying density. Motivated by this investigation, we propose a new framework for the outdoor LiDAR segmentation, where cylindrical partition and asymmetrical 3D convolution networks are designed to explore the 3D geometric pat-tern while maintaining these inherent properties. Moreover, a point-wise refinement module is introduced to alleviate the interference of lossy voxel-based label encoding. We evaluate the proposed model on two large-scale datasets, i.e., SemanticKITTI and nuScenes. Our method achieves the 1st place in the leaderboard of SemanticKITTI and outperforms existing methods on nuScenes with a noticeable margin, about 4%. Furthermore, the proposed 3D framework also generalizes well to LiDAR panoptic segmentation and LiDAR 3D detection.

연구 동기 및 목표

• 2D 투영에 의존하기보다는 3D 기하를 보존하도록 야외 LiDAR 의미 분할을 동기화한다.
• 야외 포인트 클라우드의 희소성과 가변 밀도 문제를 원기둥 분할 전략으로 해결한다.
• 운전 씬의 물체 형태에 맞춘 비대칭 3D 합성곱을 사용해 3D 특징 학습을 향상시킨다.
• Voxel 기반 인코딩으로 인한 정보 손실을 완화하기 위해 포인트 단위 정제 모듈을 도입한다.
• LiDAR 파노픽 분할 및 3D 탐지로의 강한 일반화를 보인다—의미 분할을 넘어서도 일반화가 좋다

제안 방법

• 원기둥 분할이 데카르트 좌표를 원통 좌표로 변환하고 포인트 기반 MLP 특징을 3D 원통 격자(반지름, 방향, 높이)에 할당하여 균형 잡힌 3D 표현을 생성한다.
• 운전 씬의 물체 분포에 맞추어 가로 및 세로 커널을 강조하는 비대칭 3D 합성곱 네트워크와 비대칭 잔차/하강/상향 샘플링 블록을 사용한다.
• 저랭크 구성요소들로부터 고랭크 전역 컨텍스트를 구성하기 위한 차원 분해 기반 컨텍스트 모델링(DDCM).
• Voxel화로 인한 라벨 인코딩 손실을 완화하기 위해 보셀 단위 출력과 포인트 단위 특징을 융합하는 포인트 단위 정제 모듈.
• 보셀 출력과 포인트 정제에 대해 가중 교차 엔트로피와 Lovasz-Softmax를 사용한 보셀 출력의 공동 목표와 포인트 정제의 가중 치 교차 엔트로피를 사용한 목표

실험 결과

연구 질문

• RQ1 야외 LiDAR 데이터에서 원기둥 분할이 3D 기하 구조를 보존하고 균형 잡힌 포인트 분포를 달성하는가?
• RQ2 희박한 야외 데이터에서 운전 씬의 물체 형태 학습을 개선하기 위해 비대칭 가로/세로 커널이 학습을 향상시키는가?
• RQ3 포인트 단위 정제 단계가 voxel 기반 인코딩으로 인한 정보 손실을 줄이고 최종 분할 품질을 개선하는가?
• RQ4 CyAs 프레임워크가 의미 분할을 넘어서 LiDAR 파노픽 분할 및 3D 탐지에 얼마나 잘 일반화되는가?
• RQ5 각 구성 요소(원기둥 분할, 비대칭 CNN, DDCM, 및 PR)가 성능에 미치는 영향은 무엇인가?

주요 결과

방법	mIoU	차량	자전거	오토바이	트럭	기타차량	사람	자전거를 타는 사람	오토바이 타는 사람	도로	주차장	보도	기타지면	건물	펜스	식생	줄기	지형	폴	교통
당사	67.8	97.1	67.6	64.0	59.0	58.6	73.9	67.9	36.0	91.4	65.1	75.5	32.3	91.0	66.5	85.4	71.8	68.5	62.6	65.6

• SemanticKITTI에서 최첨단 mIoU를 달성했다(당사: 67.8) — 기존 방법과 비교.
• SemanticKITTI에서 프로젝션 기반 및 다수의 3D 보셀 기반 방법보다 우수하다(예: 프로젝션 방법은 mIoU에서 8–17% 증가).
• nuScenes 검증에서 당사 방법은 우수한 mIoU 및 클래스별 결과를 달성하며, 자전거, 보행자 등 희박 클래스에서 두드러진 이점을 보인다.
• 특성 제거 분석에서 원기둥 분할과 비대칭 CNN이 각각 약 3%의 mIoU 이득을 기여하고; DDCM은 약 1.4%를 더하고; 포인트 단위 정제는 약 0.7%를 추가한다.
• 수평 및 수직 커널을 강화하는 비대칭 잔차 블록은 최대 약 3%의 mIoU 향상을 낳으며, 트럭, 사람, 오토바이 클래스에서 큰 이익이 있다.
• 파노픽 분할 및 3D 탐지 실험에서 CyAs가 기준선 대비 PQ 및 mAP/NDS를 개선한다(예: 파노픽은 PQ가 +4.7에서 >5%; 탐지는 mAP/NDS가 약 5–6% 증가).