[논문 리뷰] LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation

Peng Jiang, Srikanth Saripalli|arXiv (Cornell University)|2020. 03. 02.

Advanced Neural Network Applications참고 문헌 46인용 수 13

한 줄 요약

LiDARNet은 이중 브랜치 네트워크를 사용하여 도메인 공유 및 도메인 전용 특징을 추출함으로써 LiDAR 포인트 클라우드의 의미적 분할을 위한 경계 인식 도메인 적응 모델을 제안한다. Gated-SCNN를 통합하여 경계 보존을 도모하고, CycleGAN 기반의 특징 매핑을 적용함으로써 SemanticKITTI, SemanticPOSS 및 새로운 데이터셋인 SemanticUSL에서 타겟 도메인에서 mIoU를 8%-22% 향상시키며 원본 도메인의 성능은 거의 그대로 유지한다.

ABSTRACT

We present a boundary-aware domain adaptation model for LiDAR scan full-scene semantic segmentation (LiDARNet). Our model can extract both the domain private features and the domain shared features with a two-branch structure. We embedded Gated-SCNN into the segmentor component of LiDARNet to learn boundary information while learning to predict full-scene semantic segmentation labels. Moreover, we further reduce the domain gap by inducing the model to learn a mapping between two domains using the domain shared and private features. Additionally, we introduce a new dataset (SemanticUSL\footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}) for domain adaptation for LiDAR point cloud semantic segmentation. The dataset has the same data format and ontology as SemanticKITTI. We conducted experiments on real-world datasets SemanticKITTI, SemanticPOSS, and SemanticUSL, which have differences in channel distributions, reflectivity distributions, diversity of scenes, and sensors setup. Using our approach, we can get a single projection-based LiDAR full-scene semantic segmentation model working on both domains. Our model can keep almost the same performance on the source domain after adaptation and get an 8\%-22\% mIoU performance increase in the target domain.

연구 동기 및 목표

• 센서, 환경 및 데이터 분포의 차이로 인한 LiDAR 포인트 클라우드 의미적 분할의 도메인 이동 문제를 해결하기 위해.
• 원본 도메인에서의 성능를 유지하면서 타겟 도메인으로의 일반화 능력을 향상시키는 도메인 적응 모델을 개발하기 위해.
• Gated-SCNN를 사용하여 공유 특징 공간에서 경계를 명시적으로 모델링함으로써 특징 학습을 향상시키기 위해.
• 공유 및 전용 특징에 대한 이중 사이클 매핑을 통해 도메인 간 격차를 감소시키기 위해.
• 다양한 환경와 센서 설정을 포함한 새로운 벤치마크 데이터셋인 SemanticUSL을 도입하여 도메인 적응 평가에 활용하기 위해.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용한다: 하나는 SalsaNext 기반의 공유 특징 추출기이고, 다른 하나는 도메인 특수한 특징을 위한 전용 특징 추출기이다.
• 공유 특징의 경계 정보를 보존하고 정밀화하기 위해, 세그먼터의 디코더에 Gated-SCNN를 통합한다.
• 도메인 공유 및 도메인 전용 특징을 사용하여, 도메인 간 특징 분포를 정렬하기 위한 CycleGAN 스타일의 매핑 네트워크를 훈련시킨다.
• 전용 특징 학습을 보조하기 위해 도메인 전용 분류기를 사용하여 도메인 특화된 표현을 강화한다.
• 특징 변환 품질을 향상시키기 위해 PatchGAN 판별기와 인스턴스 정규화를 활용한다.
• 전체 네트워크는 SGD를 사용하여 엔드 투 엔드로 훈련되며, 적대적 손실, 분할 손실 및 경계 인식 정규화를 포함한다.

실험 결과

연구 질문

• RQ1 다른 LiDAR 데이터 분포를 가진 타겟 도메인에서 성능을 크게 향상시키면서도 원본 도메인에서 높은 성능를 유지할 수 있는 도메인 적응 모델은 가능한가?
• RQ2 경계 인식 특징 학습은 도메인 간 의미적 분할 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 공유 및 전용 특징의 동시 학습은 LiDAR 포인트 클라우드 분할에서 도메인 이동을 어느 정도 감소시키는가?
• RQ4 제안된 CycleGAN 기반의 특징 매핑은 투영된 3D 포인트 클라우드에 대한 픽셀 수준의 적응 방법인 CyCADA보다 어떻게 비교되는가?
• RQ5 SemanticUSL과 같은 새로운 다양성 있는 데이터셋은 교차 도메인 LiDAR 의미적 분할 평가를 위한 유효한 벤치마크로 기능할 수 있는가?

주요 결과

• 모델은 원본 도메인(SemanticPOSS)에서 52.18%의 mIoU, 타겟 도메인(SemanticUSL)에서 31.72%의 mIoU를 기록하여 강력한 적응 능력을 입증하였다.
• KITTI → USL 적응에서, 모델는 단지 USL 데이터로만 훈련된 모델보다 타겟 도메인에서 더 높은 mIoU를 달성하였다.
• 적응 후 원본 도메인에서의 성능는 기준 모델과 거의 동일하게 유지되었으며, 약간의 감소만을 보였다.
• CycleGAN 메커니즘을 제거할 경우, USL에서 mIoU는 36.55%로 떨어졌으며, 이는 도메인 정렬이 성능 향상에 필수적임을 시사한다.
• 경계 인식 구성 요소를 제거하면 mIoU는 37.20%로 감소하여, 경계 감시가 분할 품질 향상에 기여함을 확인하였다.
• 픽셀 수준의 CyCADA 방법은 데이터 부족과 국소 특징 적응의 부족으로 인해 특히 SemanticPOSS에서 잘 일반화되지 않았다.