[논문 리뷰] ConDA: Unsupervised Domain Adaptation for LiDAR Segmentation via Regularized Domain Concatenation

Lingdong Kong, Niamul Quader외 1명|arXiv (Cornell University)|2021. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 4

한 줄 요약

ConDA는 LiDAR 세분화를 위한 새로운 비지도 도메인 적응 프레임워크를 제안하며, 지도 학습 데이터가 있는 소스(실제 레이블 포함)와 가짜 레이블이 있는 타겟(가짜 레이블 포함) LiDAR 범위 시각화에서 겹치지 않는 공간적으로 정렬된 영역을 연결하여 중간 도메인을 구성함으로써 세분화된 교차 도메인 상호작용을 가능하게 한다. 이는 세분화된 교차 도메인 상호작용을 가능하게 한다. 이는 내장된 안티앨리어징 정규화 기법과 엔트로피 집합기(entropy aggregator)를 활용하여 노이즈와 앨리어징 아티팩트를 줄임으로써, 보스턴→싱가포르 벤치마크에서 42.3%의 mIoU를 달성하여 이전 방법들보다 뚜렷하게 뛰어난 성능을 발휘한다.

ABSTRACT

Transferring knowledge learned from the labeled source domain to the raw target domain for unsupervised domain adaptation (UDA) is essential to the scalable deployment of autonomous driving systems. State-of-the-art methods in UDA often employ a key idea: utilizing joint supervision signals from both source and target domains for self-training. In this work, we improve and extend this aspect. We present ConDA, a concatenation-based domain adaptation framework for LiDAR segmentation that: 1) constructs an intermediate domain consisting of fine-grained interchange signals from both source and target domains without destabilizing the semantic coherency of objects and background around the ego-vehicle; and 2) utilizes the intermediate domain for self-training. To improve the network training on the source domain and self-training on the intermediate domain, we propose an anti-aliasing regularizer and an entropy aggregator to reduce the negative effect caused by the aliasing artifacts and noisy pseudo labels. Through extensive studies, we demonstrate that ConDA significantly outperforms prior arts in mitigating domain gaps.

연구 동기 및 목표

• 보스턴과 싱가포르와 같은 도시 간 LiDAR 세분화에서 레이블이 부족한 타겟 도메인에서 발생하는 도메인 갭을 해결하기 위해.
• 단순한 특징 정렬을 넘어서 소스와 타겟 도메인 간 세분화된 공간적으로 일관된 상호작용을 가능하게 하기 위해 비지도 도메인 적응(Ubiquitous Domain Adaptation, UDA)을 향상시키기 위해.
• 3D 포인트 클라우드 세분화의 UDA 과정에서 자기학습(self-training) 중 노이즈가 많은 가짜 레이블과 앨리어징 아티팩트의 악영향을 완화하기 위해.
• 명시적인 정규화와 불확실성 인식 초점의 감독을 통해 모델 일반화 능력을 향상시키는 학습 프레임워크를 개발하기 위해.

제안 방법

• 소스와 타겟 LiDAR 범위 시각화에서 겹치지 않는 공간적 영역(예: 앞-위, 뒤-아래)을 연결하여 중간 도메인을 구성함으로써 상대적 위치를 유지함으로써 의미적 일관성을 유지한다.
• 각 컨볼루션 블록 내부에 내장된 안티앨리어징 정규화 기법을 적용하여 타겟 애너테이션을 필요로 하지 않고도 고주파 앨리어징 아티팩트를 억제한다.
• 타겟 도메인의 고엔트로피(저신뢰도) 가짜 레이블을 걸러내는 엔트로피 집합기를 도입하여 자기학습 신호의 품질을 향상시킨다.
• 중간 도메인에서 소스의 실제 레이블과 개선된 타겟 가짜 레이블을 모두 활용하여 공동 자기학습을 수행함으로써 특징 학습을 향상시킨다.
• 공간적 맥락을 유지하고 구조적인 도메인 혼합을 가능하게 하기 위해 LiDAR 포인트 클라우드의 범위 시각화(Range View, RV) 표현을 활용한다.
• 소스 데이터에 대한 교차 엔트로피 손실과 중간 도메인에 대한 일관성 정규화를 조합하여 백본 모델을 엔드 투 엔드로 훈련시킨다.

Figure 1: Illustrative examples for domain concatenation. (a) Visual RGB and LiDAR range-view (RV) projections of the source (ground-truth) and target (pseudo-labels) domains. Images adopted from nuScenes [ 2 ] . (b) Cylindrical representation of LiDAR RV. (c) Concatenated examples. Mixing domains u

실험 결과

연구 질문

• RQ1 소스와 타겟 LiDAR 데이터에서 공간적으로 정렬되고 겹치지 않는 영역을 도메인 연결함으로써 의미적 일관성을 유지하면서 세분화된 교차 도메인 상호작용을 가능하게 할 수 있는가?
• RQ2 네트워크 아키텍처 내부에 안티앨리어징 정규화 기법을 도입함으로써 UDA에서 앨리어징 아티팩트의 악영향을 줄일 수 있는가?
• RQ3 엔트로피 기반 필터링 메커니즘이 타겟 애너테이션이 없는 환경에서 가짜 레이블의 품질을 향상시키고, 결과적으로 자기학습 성능을 향상시킬 수 있는가?
• RQ4 제안된 중간 도메인 학습 전략은 표준 자기학습 또는 적대적 적응과 비교해 더 나은 일반화 능력과 높은 mIoU를 달성하는가?

주요 결과

• ConDA는 보스턴→싱가포르 UDA 벤치마크에서 42.3%의 mIoU를 달성하여 이전 최고 성능 방법들인 CBST(38.1%)와 IntraDA(36.8%)를 뚜렷이 앞서간다.
• 보스턴→싱가포르 설정에서 '라이더'(rider) 클래스에 대해 27.9%의 mIoU, '오토바이'(motorcycle) 클래스에 대해 82.3%의 mIoU를 기록하여 희귀하고 도전적인 클래스에서 뚜렷한 성과 향상을 보였다.
• 엔트로피 집합기가 저신뢰도 가짜 레이블의 수를 줄여 자기학습의 신뢰성을 높였으며, 이는 기준 자기학습 대비 4.2%의 mIoU 향상 기여했다.
• 안티앨리어징 정규화 기법은 고주파 노이즈를 효과적으로 억제하여 도메인 연결 과정에서 영역 재구성 시 발생하는 악영향을 줄였다.
• ConDA는 mIoU와 추론 속도 모두에서 적대적 방법인 AdvEnt와 DADA를 능가했으며, 훈련 시간은 MinEnt와 CBST와 유사했다.
• 정성적 결과에서는 ConDA가 에고 차량 주변에서 전체적으로 잘못된 예측을 줄였지만, 이전 방법들은 국소적 또는 국한된 향상만을 보였다.

Figure 2: Overview of our concatenation-based domain adaptation (ConDA) framework. After preprocessing (Sec. III-A ), sample stripes from both domains are mixed via RV concatenation (Sec. III-B ). The concatenated inputs are fed into the segmentation network for feature extraction. We include anti-a