[논문 리뷰] Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation

Yuenan Hou, Xinge Zhu외 3명|arXiv (Cornell University)|2022. 06. 05.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 Point-to-Voxel Knowledge Distillation (PVD)를 제안하며, 점군의 희소성, 무작위성, 다양하게 변하는 밀도로 인해 효과적인 지식 전달이 어려운 LiDAR 세분화 작업에 대해 점수 수준 및 복셀 수준의 출력과 유사도를 통해 지식 전달을 수행하는 새로운 지식 증류 프레임워크이다. PVD는 Cylinder3D에서 약 75%의 MACs 감소와 2배의 추론 속도 향상을 달성하며 정확도 저하를 최소화했으며, nuScenes 및 SemanticKITTI 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

This article addresses the problem of distilling knowledge from a large teacher model to a slim student network for LiDAR semantic segmentation. Directly employing previous distillation approaches yields inferior results due to the intrinsic challenges of point cloud, i.e., sparsity, randomness and varying density. To tackle the aforementioned problems, we propose the Point-to-Voxel Knowledge Distillation (PVD), which transfers the hidden knowledge from both point level and voxel level. Specifically, we first leverage both the pointwise and voxelwise output distillation to complement the sparse supervision signals. Then, to better exploit the structural information, we divide the whole point cloud into several supervoxels and design a difficulty-aware sampling strategy to more frequently sample supervoxels containing less-frequent classes and faraway objects. On these supervoxels, we propose inter-point and inter-voxel affinity distillation, where the similarity information between points and voxels can help the student model better capture the structural information of the surrounding environment. We conduct extensive experiments on two popular LiDAR segmentation benchmarks, i.e., nuScenes and SemanticKITTI. On both benchmarks, our PVD consistently outperforms previous distillation approaches by a large margin on three representative backbones, i.e., Cylinder3D, SPVNAS and MinkowskiNet. Notably, on the challenging nuScenes and SemanticKITTI datasets, our method can achieve roughly 75% MACs reduction and 2x speedup on the competitive Cylinder3D model and rank 1st on the SemanticKITTI leaderboard among all published algorithms. Our code is available at https://github.com/cardwing/Codes-for-PVKD.

연구 동기 및 목표

• 점군의 희소성, 무작위성, 다양하게 변하는 밀도로 인해 효과적인 지식 전달이 어려운 LiDAR 세분화 분야의 지식 증류 과제를 해결하기 위해.
• 출력 예측과 특징 유사도를 포함한 점 수준 및 복셀 수준의 지식을 융합하여 증류 성능을 향상시키기 위해.
• 소수 클래스 및 먼 거리에 있는 물체와 같은 어려운 케이스에서의 학습 효율성과 효과성을 향상시키기 위해 supervoxel 분할과 난이도 인식 샘플링을 통해.
• 정확도 저하를 최소화하면서도 강력한 모델을 자원 제약이 있는 자율 주행 시스템에 구현 가능한 의미 있는 모델 압축을 달성하기 위해.

제안 방법

• 희소 감독 신호를 보완하기 위해 점 수준 및 복셀 수준의 출력 증류를 제안하며, 세밀한 점 수준과 정보가 풍부한 복셀 수준의 예측을 융합한다.
• 점 및 복셀 특징 간의 의미적 유사도를 측정하여 관계 지식을 전달하기 위해 상호 점 간 및 상호 복셀 간 유사도 증류를 도입한다.
• 쌍별 비교 수를 제한함으로써 계산적으로 처리 가능한 유사도 증류를 가능하게 하기 위해 점군을 고정 크기의 supervoxel으로 분할한다.
• 소수 클래스와 먼 거리에 있는 물체를 포함한 supervoxel을 우선순위로 삼는 난이도 인식 샘플링 전략을 설계하여 어려운 케이스에서의 학습을 향상시킨다.
• 출력 증류와 유사도 증류를 융합한 다단계 증류 손실을 사용하며, 지식 전달의 균형을 맞추기 위해 가중치를 적응적으로 조정한다.
• nuScenes 및 SemanticKITTI 벤치마크에서 세 가지 최신 백본(Cylinder3D, SPVNAS, MinkowskiNet)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 점군의 희소성, 무작위성, 다양하게 변하는 밀도로 인해 LiDAR 세분화에 대한 지식 증류가 효과적으로 적용될 수 있는가?
• RQ2 점 수준과 복셀 수준의 지식 전달을 융합하면 단일 수준의 증류보다 성능 향상이 이루어지는가?
• RQ3 특징 유사도 기반의 유사도 증류가 점군 세분화에서 구조적 이해를 향상시키는가?
• RQ4 supervoxel 분할이 대규모 점군에서 유사도 증류의 실현 가능성과 효율성을 높이는가?
• RQ5 난이도 인식 샘플링은 균일하거나 무작위 샘플링에 비해 소수 및 먼 거리의 물체에서 증류 성능을 향상시키는가?

주요 결과

• SemanticKITTI 검증 세트에서 PVD는 66.4%의 mIoU를 달성하여 기준 증류 방법을 크게 능가했으며, 2021년 11월 기준 단일 스캔 랭킹 1위를 기록했다.
• nuScenes 데이터셋에서 PVD는 Cylinder3D 모델에서 약 75%의 MACs 감소와 2배의 속도 향상을 달성했으며 성능 저하가 미미했다.
• nuScenes 및 SemanticKITTI 벤치마크에서 세 가지 백본(Cylinder3D, SPVNAS, MinkowskiNet) 전반에 걸쳐 이전의 증류 접근 방식을 일관되게 능가했다.
• Ablation 연구 결과, 유사도 증류가 출력 증류보다 성능 향상에 더 큰 기여를 하며, supervoxel 크기 (120, 60, 8)가 최적의 성능을 낸다.
• 난이도 인식 샘플링은 거리 인식, 카테고리 인식, 무작위 샘플링보다 우수한 성능을 보이며, 어려운 케이스를 우선순위로 삼는 효과성을 입증한다.
• 시각적 비교 결과, PVD는 기준 방법 대비 소수 클래스(예: 사람)와 먼 거리에 있는 물체(예: 자전거, 멀리 떨어진 차량)에서의 잘못된 분류를 크게 감소시켰다.