[논문 리뷰] SynLiDAR: Learning From Synthetic LiDAR Sequential Point Cloud for Semantic Segmentation.

Aoran Xiao, Jiaxing Huang외 3명|arXiv (Cornell University)|2021. 07. 12.

3D Shape Modeling and Analysis참고 문헌 39인용 수 8

한 줄 요약

이 논문은 풍부한 의미적 애너테이션을 갖춘 대규모 합성 LiDAR 포인트 클라우드 데이터셋인 SynLiDAR와, 외관과 희소성 구성 요소를 분리하여 시뮬레이션에서 실제 데이터 간의 격차를 줄이는 도메인 적응 네트워크인 PCT-Net을 소개한다. 실험 결과, SynLiDAR는 더 적은 실제 데이터 애너테이션으로도 더 나은 의미적 세그멘테이션 모델을 가능하게 하며, PCT-Net은 합성 데이터를 실제 데이터 분포에 맞추어 성능을 추가로 향상시킨다.

ABSTRACT

Transfer learning from synthetic to real data has been proved an effective way of mitigating data annotation constraints in various computer vision tasks. However, the developments focused on 2D images but lag far behind for 3D point clouds due to the lack of large-scale high-quality synthetic point cloud data and effective transfer methods. We address this issue by collecting SynLiDAR, a synthetic LiDAR point cloud dataset that contains large-scale point-wise annotated point cloud with accurate geometric shapes and comprehensive semantic classes, and designing PCT-Net, a point cloud translation network that aims to narrow down the gap with real-world point cloud data. For SynLiDAR, we leverage graphic tools and professionals who construct multiple realistic virtual environments with rich scene types and layouts where annotated LiDAR points can be generated automatically. On top of that, PCT-Net disentangles synthetic-to-real gaps into an appearance component and a sparsity component and translates SynLiDAR by aligning the two components with real-world data separately. Extensive experiments over multiple data augmentation and semi-supervised semantic segmentation tasks show very positive outcomes - including SynLiDAR can either train better models or reduce real-world annotated data without sacrificing performance, and PCT-Net translated data further improve model performance consistently.

연구 동기 및 목표

• 3D 의미적 세그멘테이션을 위한 대규모, 고품질, 포인트 단위 애너테이션된 합성 LiDAR 포인트 클라우드의 부족 문제를 해결하기 위해.
• 3D 비전에서 전이 학습을 방해하는 합성 및 실제 세계 LiDAR 포인트 클라우드 간의 도메인 격차를 줄이기 위해.
• 의미적 세그멘테이션을 위한 합성 데이터에서 실제 데이터로의 효과적인 전이 학습을 가능하게 하는 방법을 개발하기 위해.
• 합성 데이터와 도메인 적응을 조합함으로써 고비용의 실제 세계 애너테이션에 대한 의존도를 줄일 수 있음을 입증하기 위해.

제안 방법

• 전문 그래픽 도구를 사용하여 정확한 기하학적 형태와 포괄적인 의미 클래스를 갖춘 다양한 실제적인 가상 환경을 생성함으로써 SynLiDAR를 구축한다.
• 이러한 가상 환경에서 포인트 단위의 의미적 애너테이션을 자동으로 생성하여 고품질의 대규모 합성 데이터를 확보한다.
• PCT-Net은 합성에서 실제 도메인 간 격차를 외관과 희소성 구성 요소로 분리하여 실제 데이터와 별도로 보정하도록 설계된다.
• 네트워크는 합성 및 실제 포인트 클라우드 간의 외관과 희소성 분포를 별도로 보정하여 도메인 적응을 수행한다.
• PCT-Net은 두 개의 브랜치 아키텍처를 사용하여 분리된 표현을 학습하고, 합성 데이터를 실제 세계 데이터 특성에 더 잘 맞출 수 있도록 변환한다.
• 유연성과 일반화 능력을 검증하기 위해 데이터 증강 및 준지도 학습 설정에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 풍부한 의미적 애너테이션을 갖춘 대규모 고품질 합성 LiDAR 포인트 클라우드 데이터셋은 3D 의미적 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 도메인 적응 방법은 3D 포인트 클라우드 학습에서 시뮬레이션-실제 격차를 얼마나 효과적으로 좁힐 수 있는가?
• RQ3 합성 데이터에서 실제 데이터로의 전이 학습은 성능 저하 없이 고비용의 실제 세계 애너테이션 필요성을 줄일 수 있는가?
• RQ4 도메인 이탈을 외관과 희소성 구성 요소로 분리하면 3D 포인트 클라우드에서 더 나은 도메인 적응을 이룰 수 있는가?

주요 결과

• SynLiDAR를 사용하면 실제 데이터에만 의존하는 기준 모델에 비해, 제한된 실제 애너테이션으로도 더 나은 의미적 세그멘테이션 모델을 훈련시킬 수 있다.
• SynLiDAR로 훈련된 모델는 실제 세계 애너테이션 의존도를 줄이며 최신 기술 수준의 성능을 달성한다.
• PCT-Net을 통해 변환된 합성 데이터는 다양한 벤치마크와 설정에서 모델 성능을 추가로 향상시킨다.
• 분리된 도메인 적응 접근법은 특히 외관과 희소성 특성에서 시뮬레이션-실제 격차를 효과적으로 줄인다.
• 준지도 학습 환경에서 PCT-Net으로 변환된 데이터로 미세조정된 모델은 기준 방법에 비해 일관된 성능 향상을 보였다.
• SynLiDAR와 PCT-Net의 조합은 세그멘테이션 정확도를 훼손하지 않으면서 실제 세계 애너테이션 데이터의 필요량을 줄였다.