[논문 리뷰] LaserMix for Semi-Supervised LiDAR Semantic Segmentation

Lingdong Kong, Jiawei Ren외 2명|arXiv (Cornell University)|2022. 06. 30.

Advanced Neural Network Applications인용 수 4

한 줄 요약

LaserMix는 레이저 빔을 서로 다른 스캔에서 혼합함으로써 공간 사전 지식을 활용하는 새로운 반감독 학습 프레임워크를 제안한다. 이는 모델의 일반화 능력을 향상시키며, 2배에서 5배 적은 레이블로 최신 기술 수준(SoTA) 성능을 달성한다. nuScenes에서 mIoU를 최대 5.7% 향상시키고, SemanticKITTI에서는 3.5% 향상시키며, 표현 방식에 관계없이 적용 가능하고 통계적으로 타당하다.

ABSTRACT

Densely annotating LiDAR point clouds is costly, which restrains the scalability of fully-supervised learning methods. In this work, we study the underexplored semi-supervised learning (SSL) in LiDAR segmentation. Our core idea is to leverage the strong spatial cues of LiDAR point clouds to better exploit unlabeled data. We propose LaserMix to mix laser beams from different LiDAR scans, and then encourage the model to make consistent and confident predictions before and after mixing. Our framework has three appealing properties: 1) Generic: LaserMix is agnostic to LiDAR representations (e.g., range view and voxel), and hence our SSL framework can be universally applied. 2) Statistically grounded: We provide a detailed analysis to theoretically explain the applicability of the proposed framework. 3) Effective: Comprehensive experimental analysis on popular LiDAR segmentation datasets (nuScenes, SemanticKITTI, and ScribbleKITTI) demonstrates our effectiveness and superiority. Notably, we achieve competitive results over fully-supervised counterparts with 2x to 5x fewer labels and improve the supervised-only baseline significantly by 10.8% on average. We hope this concise yet high-performing framework could facilitate future research in semi-supervised LiDAR segmentation. Code is publicly available.

연구 동기 및 목표

• 밀도 높은 LiDAR 애너테이션의 높은 비용 문제를 해결하기 위해 제한된 레이블 데이터로 반감독 학습을 가능하게 한다.
• 특히 거리에 따라 패턴적으로 분포하는 레이저 빔의 특성 덕분에 LiDAR 포인트 클라우드에 내재된 강력한 공간적 구조를 활용한다.
• 범위 뷰, 볼록체, 포인트 기반 LiDAR 표현 방식에 모두 적용 가능한 표현에 종속되지 않는 반감독 학습 방법을 개발한다.
• 빔 혼합 전후 동일한 공간 영역에 대해 일관되고 확신 있는 예측을 강제함으로써 모델의 강인성과 성능을 향상시킨다.
• 기본 데이터셋에서 저자료(10–50% 레이블) 및 고자료(전체 레이블) 환경에서의 효과성을 입증한다.

제안 방법

• 레이저 빔 분포 패턴을 기반으로 스캔를 변동성이 낮은 공간 영역으로 분할하여 레이저 빔 분포의 공간 사전 지식을 활용한다.
• 두 개의 서로 다른 LiDAR 스캔에서 해당 공간 영역을 교차 방식으로 혼합하는 빔 수준의 혼합 전략인 LaserMix를 제안한다.
• 모델이 혼합 전후 동일한 공간 영역에서 일관되고 확신 있는 예측을 하도록 유도하는 티처-스터디 트레이닝 파이프라인을 적용한다.
• 원본 입력과 혼합 입력 간의 예측 일치를 강제하기 위해 일관성 정규화 손실을 사용하여 일반화 능력을 향상시킨다.
• 아키텍처 변경 없이도 원시 포인트 클라우드에 직접 작용하여 범위 뷰, 볼록체, 포인트 기반 표현 등 다양한 LiDAR 표현 방식과 호환된다.
• 이론적 분석을 통해 레이저 스캔에서 공간 연속성과 局부 균일성의 가정 하에 혼합 전략의 통계적 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 LiDAR 포인트 클라우드에 내재된 공간 사전 지식을 효과적으로 활용하여 반감독 학습 성능을 향상시킬 수 있는가?
• RQ2 다른 스캔 간 빔 수준 혼합 전략이 기존의 데이터 증강 또는 대조 학습보다 LiDAR 세그멘테이션에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 표준 LiDAR 벤치마크에서 다양한 레이블 예산(예: 10%, 20%, 50%, 100%)에서 LaserMix의 성능은 어떻게 되는가?
• RQ4 제안된 방법이 훨씬 적은 애너테이션으로도 완전히 감독된 최신 기술 수준(SoTA) 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 재학습 없이도 범위 뷰, 볼록체, 포인트 클라우드 등 다양한 LiDAR 표현 방식에 대해 프레임워크가 강인하고 일반화 가능한가?

주요 결과

• nuScenes에서 LaserMix는 훈련 레이블의 20%만 사용해도 감독 학습 전용 베이스라인 대비 mIoU를 5.7% 향상시켰다.
• SemanticKITTI에서는 동일한 훈련 환경에서 이전 SoTA 방법보다 mIoU를 최대 3.5% 향상시켰다.
• 단지 0.8%의 레이블 데이터만으로도 LaserMix는 SemanticKITTI에서 54.4%의 mIoU를 달성하여, 100% 레이블로 훈련된 완전 감독 모델인 PolarNet와 RandLA-Net의 성능을 재현했다.
• 완전 감독 SoTA 모델 대비 2배에서 5배 적은 레이블로도 경쟁 가능한 성능을 달성하여 높은 데이터 효율성을 입증했다.
• 제거 실험 결과, 공간 사전 지식이 핵심 요소임을 확인: 빔 분할 또는 혼합을 제거하면 성능이 크게 하락한다.
• 표현 간 일반화 성능 확인: 범위 뷰, 볼록체, 포인트 기반 모델에 대해 수정 없이도 효과적이다.