[논문 리뷰] Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation

Aoran Xiao, Jiaxing Huang외 3명|arXiv (Cornell University)|2021. 07. 12.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 32개의 의미 클래스에 걸쳐 총 190억 개의 포인트 수준 주석이 부여된 대규모 합성 LiDAR 포인트 클라우드 데이터셋인 SynLiDAR를 소개하고, 외관과 흐릿함의 차이를 별도로 다룸으로써 합성 데이터와 실세계 데이터 간의 도메인 갭을 줄이는 PCT라는 새로운 포인트 클라우드 번역기 기법을 제안한다. PCT는 데이터 증강, 준지도학습, 비지도학습 도메인 적응 설정에서 의미 분할 성능을 크게 향상시키며, SemanticKITTI와 SemanticPOSS에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge transfer from synthetic to real data has been widely studied to mitigate data annotation constraints in various computer vision tasks such as semantic segmentation. However, the study focused on 2D images and its counterpart in 3D point clouds segmentation lags far behind due to the lack of large-scale synthetic datasets and effective transfer methods. We address this issue by collecting SynLiDAR, a large-scale synthetic LiDAR dataset that contains point-wise annotated point clouds with accurate geometric shapes and comprehensive semantic classes. SynLiDAR was collected from multiple virtual environments with rich scenes and layouts which consists of over 19 billion points of 32 semantic classes. In addition, we design PCT, a novel point cloud translator that effectively mitigates the gap between synthetic and real point clouds. Specifically, we decompose the synthetic-to-real gap into an appearance component and a sparsity component and handle them separately which improves the point cloud translation greatly. We conducted extensive experiments over three transfer learning setups including data augmentation, semi-supervised domain adaptation and unsupervised domain adaptation. Extensive experiments show that SynLiDAR provides a high-quality data source for studying 3D transfer and the proposed PCT achieves superior point cloud translation consistently across the three setups. SynLiDAR project page: \url{https://github.com/xiaoaoran/SynLiDAR}

연구 동기 및 목표

• 3D 의미 분할을 위한 대규모이며 정확하게 주석이 부여된 합성 LiDAR 포인트 클라우드의 부족 문제를 해결하기 위해.
• 3D 장면 이해에서 효과적인 전이 학습을 방해하는 합성과 실세계 LiDAR 포인트 클라우드 간의 도메인 갭을 극복하기 위해.
• 외관과 흐릿함 양쪽 모두에서 실세계 분포와 더 잘 일치하도록 합성 포인트 클라우드를 변환할 수 있는 강력하고 일반화 가능한 방법을 개발하기 위해.
• 데이터 증강, 준지도학습, 비지도학습 도메인 적응을 포함한 다양한 학습 철학에서 합성에서 실세계로의 전이 효과를 평가하기 위해.

제안 방법

• SynLiDAR는 고급 3D 모델링 도구를 사용해 전문적으로 설계된 여러 가상 환경에서 구성되며, 기하학적 정확성과 의미적 풍부함을 확보하여 32개의 클래스에서 모두 확보된다.
• PCT는 합성에서 실세계로의 도메인 갭을 두 가지 구성요소로 분해한다: 환경적 변동으로 인한 외관 차이와 센서 샘플링으로 인한 흐릿함 차이.
• 외관 번역 모듈(AtM)은 합성 포인트 클라우드를 업샘플링하고 학습된 스타일 전이 기법을 사용해 실세계 데이터와의 시각적 외관을 일치시킨다.
• 흐릿함 번역 모듈(STM)은 실세계 포인트 클라우드에서 흐릿함 특징을 추출하고, 이를 AtM의 출력과 융합하여 실세계 센서의 흐릿함 패턴을 모방한다.
• 이 방법은 입력 공간에서 작동하며, 모델 훈련 이전에 합성 포인트 클라우드를 변환함으로써 기존의 분할 네트워크와 직접 호환 가능하다.
• 다양한 전이 학습 설정—데이터 증강, 준지도학습 도메인 적응(SSDA), 비지도학습 도메인 적응(UDA)—에서 광범위한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 풍부한 의미 주석이 부여된 대규모 고품질 합성 LiDAR 포인트 클라우드 데이터셋이 실세계 포인트 클라우드 분할 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 합성과 실세계 LiDAR 포인트 클라우드 간의 도메인 갭을 효과적으로 분해하고 완화할 수 있는가?
• RQ3 외관과 흐릿함을 별도로 다루며 입력 공간에서 합성 포인트 클라우드를 변환하는 것이 기존의 특징 공간 또는 출력 공간 기반 방법보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 PCT로 변환된 합성 데이터는 3D 의미 분할에서 실세계 주석의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• 데이터 증강 설정에서 PCT로 변환된 SynLiDAR를 사용함으로써 SemanticKITTI에서 mIoU가 2.2% 향상되었고, SemanticPOSS에서는 2.6% 향상되었다.
• 준지도학습 도메인 적응 설정에서 PCT와 APE를 조합함으로써 SemanticKITTI에서 mIoU가 27.0%로 향상되었고, SemanticPOSS에서는 31.2%로 향상되어 새로운 최신 기술 수준의 성능를 달성했다.
• 비지도학습 도메인 적응 설정에서 PCT만으로도 SemanticKITTI에서 mIoU가 3.5% 향상되었고, SemanticPOSS에서는 2.8% 향상되었으며, ST와 조합할 경우 추가로 성능 향상이 이루어졌다.
• PCT로 변환된 SynLiDAR를 통해 SemanticPOSS에서 실세계 데이터 사용을 40% 감소시켜도 성능 저하 없이 성능을 유지함으로써 뛰어난 데이터 효율성을 입증했다.
• PCT와 최신 기술 수준의 UDA 방법(예: ST)을 조합함으로써 SemanticKITTI에서 mIoU 28.9%, SemanticPOSS에서 mIoU 29.6%의 새로운 최신 기술 수준의 성능를 달성했다.
• SynLiDAR의 높은 기하학적 정밀도와 의미적 다양성 덕분에 3D 포인트 클라우드 분할에서 합성에서 실세계로의 전이 학습에 강력하고 신뢰할 수 있는 소스 도메인으로 기능한다.