[논문 리뷰] PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds

Aoran Xiao, Jiaxing Huang외 4명|arXiv (Cornell University)|2022. 07. 30.

Robotics and Sensor-Based Localization인용 수 38

한 줄 요약

PolarMix는 LiDAR에 특화된 두 가지 데이터 증강 전략—장면 수준의 방위각 교환과 인스턴스 수준의 회전-붙이기—을 제안하여 해상도를 보존하면서 포인트 구름을 풍부하게 하고, 다양한 아키텍처와 데이터셋에서 의미론적 분할과 객체 탐지를 향상시키며, 비지도 도메인 적응을 돕는다.

ABSTRACT

LiDAR point clouds, which are usually scanned by rotating LiDAR sensors continuously, capture precise geometry of the surrounding environment and are crucial to many autonomous detection and navigation tasks. Though many 3D deep architectures have been developed, efficient collection and annotation of large amounts of point clouds remain one major challenge in the analytic and understanding of point cloud data. This paper presents PolarMix, a point cloud augmentation technique that is simple and generic but can mitigate the data constraint effectively across different perception tasks and scenarios. PolarMix enriches point cloud distributions and preserves point cloud fidelity via two cross-scan augmentation strategies that cut, edit, and mix point clouds along the scanning direction. The first is scene-level swapping which exchanges point cloud sectors of two LiDAR scans that are cut along the azimuth axis. The second is instance-level rotation and paste which crops point instances from one LiDAR scan, rotates them by multiple angles (to create multiple copies), and paste the rotated point instances into other scans. Extensive experiments show that PolarMix achieves superior performance consistently across different perception tasks and scenarios. In addition, it can work as plug-and-play for various 3D deep architectures and also performs well for unsupervised domain adaptation.

연구 동기 및 목표

• 주석이 제한된 데이터와 도메인 간 간극을 해결하기 위해 LiDAR 포인트 구름에 대한 데이터 증강을 고무한다.
• 부분 가시성 및 깊이에 의존하는 밀도 등 LiDAR 특성에 부합하는 단순하고 일반적인 증강으로서 PolarMix를 제안한다.
• 다양한 인지 작업(의미론적 분할, 객체 탐지)과 데이터셋 전반에 걸쳐 개선을 가능하게 한다.
• 다양한 3D 아키텍처 및 비지도 도메인 적응과 호환되는 플러그-앤-플레이 모듈로 PolarMix를 시연한다.

제안 방법

• 극좌표에서 작동하는 두 가지 교차 스캔 증강 전략을 정의한다: 스캔 간 방위각 구역의 장면 수준 교환과 여러 방위각으로 잘라낸 의미론적 인스턴스를 회전하여 붙이는 인스턴스 수준 회전-붙이기.
• 마스크와 간단한 기하학적 변환을 사용하여 입력 공간에서 작동을 공식화해 LiDAR 데이터의 정확도를 보존한다.
• 기저 손실을 수정하지 않고 증강된 스캔과 라벨의 연결을 허용하여 학습 샘플을 구성한다.
• 실용적 사용을 위한 구현 세부사항과 하이퍼파라미터 선택(방위각 범위, 회전 각도, 확률)을 제공한다.

실험 결과

연구 질문

• RQ1 PolarMix가 서로 다른 아키텍처와 데이터셋 전반에서 LiDAR 기반의 의미 분할 및 객체 탐지 성능을 향상시킬 수 있는가?
• RQ2 PolarMix가 데이터 요구 사항을 줄이고 LiDAR 학습의 데이터 효율성을 향상시키는가?
• RQ3 소스 도메인과 타깃 도메인 데이터를 혼합하여 비지도 도메인 적응으로 확장될 수 있는가?
• RQ4 두 가지 증강 구성요소(장면 수준의 교환과 인스턴스 수준의 회전-붙이기)가 성능 향상에 어떻게 기여하는가?
• RQ5 다양한 LiDAR 센서 및 스캐닝 구성에서 PolarMix가 효과적인가?

주요 결과

• PolarMix는 SemanticKITTI, nuScenes-lidarseg, SemanticPOSS에서 MinkNet, SPVCNN, RandLA-Net, Cylinder3D 간의 의미 분할에서 일관된 성능 향상을 제공합니다.
• PolarMix는 데이터 효율성을 높여 두 네트워크에서 주석 데이터의 약 75%로 유사한 mIoU를 달성합니다.
• PolarMix는 PointPillar, Second, CenterNet에서 객체 탐지 mAP와 nuScenes 탐지 점수를 향상시킵니다.
• PolarMix는 SynLiDAR에서 SemanticKITTI 및 SemanticPOSS로의 비지도 도메인 적응에서 최첨단 결과를 달성합니다.
• 해당 실험은 장면 수준의 교환과 인스턴스 수준의 회전-붙이기가 상호 보완적 이득을 제공하며, 전체 PolarMix가 가장 큰 개선을 보임을 보여줍니다.