[논문 리뷰] Domain Adaptation in LiDAR Semantic Segmentation.

Íñigo Alonso, Luis Riazuelo외 2명|arXiv (Cornell University)|2020. 10. 23.

Advanced Neural Network Applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 입력 공간 분포 간의 정렬과 소스 도메인과 타겟 도메인 간의 학습 기반 의미 클래스 분포 정렬을 통해 도메인 분산을 줄이는 새로운 비지도 도메인 적응 프레임워크를 제안한다. 이 방법은 세 가지 다양한 도메인에서 최신 기술 수준의 성능을 달성하며, 타겟 데이터에 대한 레이블이 필요 없이 일반화 능력을 크게 향상시킨다.

ABSTRACT

LiDAR semantic segmentation provides 3D semantic information about the environment, an essential cue for intelligent systems during their decision making processes. Deep neural networks are achieving state-of-the-art results on large public benchmarks on this task. Unfortunately, finding models that generalize well or adapt to additional domains, where data distribution is different, remains a major challenge. This work addresses the problem of unsupervised domain adaptation for LiDAR semantic segmentation models. Our approach combines novel ideas on top of the current state-of-the-art approaches and yields new state-of-the-art results. We propose simple but effective strategies to reduce the domain shift by aligning the data distribution on the input space. Besides, we propose a learning-based approach that aligns the distribution of the semantic classes of the target domain to the source domain. The presented ablation study shows how each part contributes to the final performance. Our strategy is shown to outperform previous approaches for domain adaptation with comparisons run on three different domains.

연구 동기 및 목표

• 새로운 환경에 모델을 구현할 때 데이터 분포가 다를 경우 발생하는 LiDAR 의미 분할의 도메인 분산 문제를 해결한다.
• 타겟 도메인의 레이블링된 데이터가 필요 없이 도메인 간 일반화 능력을 향상시킨다.
• 비지도 도메인 적응을 위해 입력 공간과 의미 클래스 분포 정렬을 조합한 단순하면서도 효과적인 접근법을 개발한다.
• 자기 분석 및 비교 연구를 통해 여러 다양하고 복잡한 타겟 도메인에서 일관된 성능 향상을 입증한다.

제안 방법

• 도메인 분산을 줄이기 위해 입력 공간 분포를 소스 도메인과 타겟 도메인 간에 새로운 데이터 수준의 적응 전략을 사용하여 정렬한다.
• 타겟 도메인의 의미 클래스 분포를 소스 도메인의 분포와 정렬하기 위한 학습 기반 접근법을 도입한다.
• 도메인 정렬과 분할 손실을 함께 최적화하여 도메인 불변 표현을 깊이 있는 신경망을 통해 학습한다.
• 적대적 훈련과 특징 수준의 정렬을 활용하여 분포 변화에 대한 모델의 강건성을 향상시킨다.
• 먼저 입력 특징을 정렬하고, 이후에 클래스 수준의 분포 정렬을 사용하여 의미 예측을 개선하는 다단계 훈련 절차를 적용한다.
• 훈련 중 소스 및 타겟 특징를 구분하는 디스크림리네이터를 통해 도메인 불변 특징 학습을 구현한다.

실험 결과

연구 질문

• RQ1 입력 공간 도메인 정렬이 LiDAR 의미 분할에서 도메인 분산을 얼마나 효과적으로 줄일 수 있는가?
• RQ2 학습 기반 의미 클래스 분포 정렬이 새로운 도메인으로의 일반화에 얼마나 기여하는가?
• RQ3 제안된 방법의 개별 구성 요소가 전체 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 레이블이 없는 타겟 데이터로도 여러 다양하고 복잡한 타겟 도메인에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 입력 수준의 정렬과 클래스 수준의 정렬이 분할 정확도에 미치는 상대적 영향은 어떠한가?

주요 결과

• 제안된 방법은 세 가지 다른 타겟 도메인에서 새로운 최신 기술 수준의 성능를 달성하며, 이전의 비지도 도메인 적응 접근법을 능가한다.
• 자기 분석 연구를 통해 입력 공간 정렬과 클래스 분포 정렬이 성능 향상에 기여한다는 것이 확인된다.
• 도시, 농촌, 근교 환경를 포함한 다양한 LiDAR 데이터 분포에 대해 강력한 일반화 능력을 보여준다.
• 입력 수준과 의미 수준의 정렬 조합이 더 견고한 특징 학습과 향상된 분할 정확도를 이끌어낸다.
• 모든 평가된 도메인에서 일관된 향상이 이루어져 도메인 분산이 효과적으로 완화됨을 시사한다.
• 소스 도메인과 타겟 도메인 간 분포 차이가 크더라도 이 방법이 효과적으로 작용함을 입증한다.