[논문 리뷰] SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud

BoRui Wu, Xuanyu Zhou외 3명|arXiv (Cornell University)|2018. 09. 22.

Advanced Neural Network Applications참고 문헌 34인용 수 35

한 줄 요약

SqueezeSegV2는 LiDAR 기반 도로 객체 세분화를 위한 강력한 딥러닝 모델을 제안하며, 드롭아웃 노이즈를 완화하기 위해 컨텍스트 어그리게이션 모듈(CAM)을 도입하고, 학습된 강도 렌더링, 지오데식 상관관계 정렬, 점진적 도메인 캘리브레이션으로 구성된 세 단계 도메인 적응 파이프라인을 통해 성능을 향상시킨다. 이로 인해 합성 GTA-V 데이터로 훈련된 모델이 실제 KITTI 데이터에서 57.4% mIoU를 달성하게 되었으며, 이는 기존 29.0% 대비 거의 두 배 향상된 성능이다.

ABSTRACT

Earlier work demonstrates the promise of deep-learning-based approaches for point cloud segmentation; however, these approaches need to be improved to be practically useful. To this end, we introduce a new model SqueezeSegV2 that is more robust to dropout noise in LiDAR point clouds. With improved model structure, training loss, batch normalization and additional input channel, SqueezeSegV2 achieves significant accuracy improvement when trained on real data. Training models for point cloud segmentation requires large amounts of labeled point-cloud data, which is expensive to obtain. To sidestep the cost of collection and annotation, simulators such as GTA-V can be used to create unlimited amounts of labeled, synthetic data. However, due to domain shift, models trained on synthetic data often do not generalize well to the real world. We address this problem with a domain-adaptation training pipeline consisting of three major components: 1) learned intensity rendering, 2) geodesic correlation alignment, and 3) progressive domain calibration. When trained on real data, our new model exhibits segmentation accuracy improvements of 6.0-8.6% over the original SqueezeSeg. When training our new model on synthetic data using the proposed domain adaptation pipeline, we nearly double test accuracy on real-world data, from 29.0% to 57.4%. Our source code and synthetic dataset will be open-sourced.

연구 동기 및 목표

• 도메인 이동으로 인해 합성 LiDAR 데이터로 훈련된 모델의 일반화 능력이 떨어지는 문제를 해결한다.
• 실제 LiDAR 포인트 클라우드에서 성능 저하의 주요 원인이 되는 드롭아웃 노이즈에 대한 강건성을 향상시킨다.
• 실제로 레이블이 부여된 데이터 없이도 합성 데이터와 비라벨된 실세계 데이터만을 사용해 고성능 세분화를 가능하게 하는 도메인 적응 파이프라인을 개발한다.
• 실세계 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하며, 실세계 레이블 데이터를 훈련에 사용하지 않는다.

제안 방법

• 드롭아웃 노이즈로 인한 점 누락에 대한 강건성을 향상시키기 위해 수신 영역을 확장하는 컨텍스트 어그리게이션 모듈(CAM)을 도입한 CNN 구성 요소를 제안한다.
• 특히 보행자 및 자전거 기사 등 표현 빈도가 낮은 클래스의 클래스 불균형 문제를 해결하기 위해 포칼 손실을 적용한다.
• 배치 정규화를 통합하고, LiDAR 마스크를 추가 입력 채널로 활용하여 특징 학습을 향상시킨다.
• 학습된 강도 렌더링(LIR)을 구현하여, 비라벨된 실세계 데이터를 활용해 합성 포인트 클라우드에 대해 현실적인 강도 값을 예측하는 자기지도 신경망을 설계한다.
• 훈련 중 실세계와 합성 데이터 분포 간 배치 통계를 정렬하기 위해 지오데식 상관관계 정렬(GCA)을 적용한다.
• 훈련 후 보정 단계로 점진적 도메인 캘리브레이션(PDC)을 사용하여 도메인 불일치를 추가로 감소시키고 실세계 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 수정된 CNN 아키텍처가 LiDAR 포인트 클라우드에서 드롭아웃 노이즈에 대한 민감도를 줄이고 실세계 데이터에서의 세분화 정확도를 향상시킬 수 있는가?
• RQ2 도메인 이동이 존재할 경우, GTA-V에서 유래한 합성 데이터가 실세계 LiDAR 세분화에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 강도 렌더링, 통계 정렬, 캘리브레이션을 조합한 다단계 도메인 적응 파이프라인은 합성 데이터와 실세계 데이터 간 격차를 얼마나 효과적으로 메울 수 있는가?
• RQ4 드롭아웃 노이즈에 대한 모델의 강건성 향상이 도메인 간 격차를 줄이고 합성 데이터에서 실세계 데이터로의 전이 성능을 향상시키는 데 기여하는가?

주요 결과

• 실제 KITTI 데이터로 훈련했을 때 SqueezeSegV2는 모든 카테고리에서 원본 SqueezeSeg 대비 6.0%에서 8.6%의 mIoU 향상을 달성한다.
• CAM의 추가로 모델의 드롭아웃 노이즈에 대한 민감도가 크게 감소하였으며, 이는 실세계 데이터와 합성 데이터 양쪽에서 성능 향상에 기여한다.
• 합성 GTA-V 데이터로 훈련하고 전체 도메인 적응 파이프라인을 적용한 경우, 실제 KITTI 테스트 데이터에서 57.4% mIoU를 달성하였으며, 이는 합성 데이터로만 훈련된 기준선 대비 28.4%의 절대적 향상이다.
• 도메인 적응 파이프라인은 실세계 KITTI 데이터로 훈련된 SqueezeSeg 모델보다 성능이 뛰어나며, 강도 특징이 없는 경우 57.4% mIoU 대비 57.1% mIoU를 기록한다.
• 지오데식 상관관계 정렬과 점진적 도메인 캘리브레이션은 모두 도메인 불일치를 감소시키는 데 효과적이며, PDC가 가장 큰 점진적 성과 향상을 보였다.
• 학습된 강도 렌더링은 성능 향상에 크게 기여하였으며, 이는 현실적인 강도 모델링이 LiDAR 세분화에서 도메인 적응에 있어 핵심 요소임을 입증한다.