[논문 리뷰] MaskRange: A Mask-classification Model for Range-view based LiDAR Segmentation

Yi Gu, Yuming Huang외 2명|arXiv (Cornell University)|2022. 06. 24.

Advanced Neural Network Applications인용 수 6

한 줄 요약

MaskRange는 범위-뷰 LiDAR 세그멘테이션을 위한 새로운 마스크 분류 파라다임을 제안하며, 의미적 및 편집 세그멘테이션을 위한 통합 아키텍처를 활용하여 기존의 픽셀 기반 방법을 능가한다. 새로운 데이터 증강 방법인 가중치 부여된 풍경 복사(WPD) 덕분에 과적합, 맥락 의존성, 클래스 불균형 문제를 완화시키며, SemanticKITTI의 의미적 세그멘테이션에서 66.10 mIoU, 편집 세그멘테이션에서 53.10 PQ 성능을 기록하며 최신 기술 수준을 달성한다. 이는 25 FPS의 효율성으로 달성되었으며, 이는 WPD가 과적합, 맥락 의존성, 클래스 불균형 문제를 완화시키는 데 기여한다.

ABSTRACT

Range-view based LiDAR segmentation methods are attractive for practical applications due to their direct inheritance from efficient 2D CNN architectures. In literature, most range-view based methods follow the per-pixel classification paradigm. Recently, in the image segmentation domain, another paradigm formulates segmentation as a mask-classification problem and has achieved remarkable performance. This raises an interesting question: can the mask-classification paradigm benefit the range-view based LiDAR segmentation and achieve better performance than the counterpart per-pixel paradigm? To answer this question, we propose a unified mask-classification model, MaskRange, for the range-view based LiDAR semantic and panoptic segmentation. Along with the new paradigm, we also propose a novel data augmentation method to deal with overfitting, context-reliance, and class-imbalance problems. Extensive experiments are conducted on the SemanticKITTI benchmark. Among all published range-view based methods, our MaskRange achieves state-of-the-art performance with $66.10$ mIoU on semantic segmentation and promising results with $53.10$ PQ on panoptic segmentation with high efficiency. Our code will be released.

연구 동기 및 목표

• 이미지 세그멘테이션에서 성공한 마스크 분류 파라다임이 범위-뷰 LiDAR 세그멘테이션 성능 향상에 효과적으로 적용될 수 있는지 조사하는 것.
• 희박한 LiDAR 데이터에서 흔히 발생하는 과적합, 맥락 의존성, 클래스 불균형 문제를 새로운 데이터 증강 전략을 통해 해결하는 것.
• 추가적인 감독 신호나 하이퍼파라미터 튜닝 없이도 의미적 및 편집 세그멘테이션을 모두 지원하는 통합 프레임워크를 개발하는 것.
• 범위-뷰를 주요 예시로 삼아, 다양한 LiDAR 데이터 표현 방식에 대해 마스크 분류 파라다임의 일반화 능력을 입증하는 것.

제안 방법

• 마스크포스터 메타아키텍처를 LiDAR 범위-뷰 데이터에 적응시켜, 픽셀 기반 분류가 아닌 마스크 분류 예측의 집합으로 세그멘테이션을 공식화한다.
• 과적합과 클래스 불균형을 줄이기 위해 서로 다른 스캔에서부터 조각을 복사하고 클래스 및 맥락 인식 가중치를 적용하는 새로운 데이터 증강 방법인 가중치 부여된 풍경 복사(WPD)를 도입한다.
• 학습 샘플을 재균형화하여 최적화 안정성과 긴 尾 클래스 성능을 향상시키기 위해 통합된 가중치 포인트 손실을 사용한다.
• 개선된 학습 역동성(DeepB)과 데이터 의존적 업샘플링(DU)을 활용하여 특징 정제 및 예측 정확도를 향상시킨다.
• 전역 맥락을 집계하기 위해 트랜스포머 디코더를 적용하여, 백본에서 국소 맥락 집계에 대한 의존도를 감소시킨다.
• 2D CNN의 효율성을 활용하여 추론 효율성을 최적화하고, 단일 RTX 2080Ti에서 FLOPs(2.2 GFlops 추가)와 지연 시간(40 ms, 25 FPS)을 낮춘다.

실험 결과

연구 질문

• RQ1 이미지 세그멘테이션에서 성공한 마스크 분류 파라다임이 범위-뷰 LiDAR 세그멘테이션에 효과적으로 적용되어 픽셀 기반 분류를 능가할 수 있는가?
• RQ2 희박한 LiDAR 데이터에서 흔히 발생하는 과적합, 맥락 의존성, 클래스 불균형 문제를 마스크 분류 프레임워크에서 어떻게 완화할 수 있는가?
• RQ3 특수한 헤드 튜닝이나 경계상자 감독 없이도 통합 모델 아키텍처가 의미적 및 편집 세그멘테이션 작업에서 높은 성능을 달성할 수 있는가?
• RQ4 WPD와 같은 새로운 데이터 증강 전략이 희박하고 긴 꼬리 분포를 띠는 LiDAR 세그멘테이션에서 일반화 능력과 성능을 얼마나 향상시키는가?

주요 결과

• MaskRange는 SemanticKITTI 의미적 세그멘테이션 벤치마크에서 66.10 mIoU를 기록하며, 모든 발표된 범위-뷰 기반 방법 중 최고 성능을 달성했다.
• 편집 세그멘테이션 벤치마크에서 53.10 PQ를 기록하며, 추가적인 감독 없이도 강력한 일반화 능력과 강인성을 입증했다.
• 제안된 가중치 부여된 풍경 복사(WPD) 증강 기법은 MaskRange에 적용되었을 때 기준 모델 대비 mIoU를 7.70% 향상시켰으며, Mix3D 및 Instance Paste를 크게 능가했다.
• 단일 NVIDIA RTX 2080Ti에서 25 FPS(40 ms 추론 시간)로 실행되어 실시간 응용에 적합한 높은 효율성을 보였다.
• 제거 실험 결과, WPD, 가중치 포인트 손실, 개선된 딥 서포트(DeepB)의 조합이 성능 향상에 필수적임을 확인하였으며, WPD가 가장 큰 기여를 하였다.
• 모델의 성능는 마스크 분류 기반 기준 모델보다 WPD에 더 민감하게 반응함을 확인하여, 마스크 분류 아키텍처가 증강 기법의 이점을 더 효과적으로 활용할 수 있음을 시사한다.