[논문 리뷰] Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation

Huan Gao, Jichang Guo외 2명|arXiv (Cornell University)|2022. 05. 02.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 야간 세분화를 위한 새로운 비지도 도메인 적응 프레임워크인 CCDistill을 제안하며, 조명의 불변성과 본질적인 데이터셋 차이를 활용하기 위해 교차 도메인 상관관계 정련을 도입한다. 레이블이 부여된 주간 이미지에서 추출한 콘텐츠 및 스타일 지식을 학습된 특징 상관관계를 통해 레이블이 없는 야간 이미지로 정련함으로써, 추가 데이터나 스타일 전이 네트워크 없이도 최신 기술 수준의 성능을 달성하며, Dark Zurich에서 47.5% mIoU를 기록한다.

ABSTRACT

The performance of nighttime semantic segmentation is restricted by the poor illumination and a lack of pixel-wise annotation, which severely limit its application in autonomous driving. Existing works, e.g., using the twilight as the intermediate target domain to perform the adaptation from daytime to nighttime, may fail to cope with the inherent difference between datasets caused by the camera equipment and the urban style. Faced with these two types of domain shifts, i.e., the illumination and the inherent difference of the datasets, we propose a novel domain adaptation framework via cross-domain correlation distillation, called CCDistill. The invariance of illumination or inherent difference between two images is fully explored so as to make up for the lack of labels for nighttime images. Specifically, we extract the content and style knowledge contained in features, calculate the degree of inherent or illumination difference between two images. The domain adaptation is achieved using the invariance of the same kind of difference. Extensive experiments on Dark Zurich and ACDC demonstrate that CCDistill achieves the state-of-the-art performance for nighttime semantic segmentation. Notably, our method is a one-stage domain adaptation network which can avoid affecting the inference time. Our implementation is available at https://github.com/ghuan99/CCDistill.

연구 동기 및 목표

• 낮은 조명과 픽셀 단위 레이블 부족으로 인한 야간 세분화 성능 저하 문제를 해결하기 위해.
• 조명 차이와 본질적인 데이터셋 차이(예: 도시 스타일, 카메라 센서)와 같은 두 가지 유형의 도메인 이동을 다루기 위해.
• 추가 추론 시간 증가 없이도 엔드 투 엔드, 일괄 처리 방식의 비지도 도메인 적응 프레임워크를 개발하기 위해.
• 교차 도메인 상관관계의 불변성을 활용하여 큰 도메인 이동 상황에서 지식 정련을 향상시키기 위해.
• 외부 이미지 변환 네트워크에 의존하지 않고 효과적인 세분화 수준의 스타일 전이를 가능하게 하기 위해.

제안 방법

• 콘텐츠 및 스타일 차이의 불변성을 추출하고 활용하기 위해 교차 도메인 상관관계 정련(CCD)을 제안한다.
• 다른 도메인의 특징을 공유 임bedding 공간으로 매핑하기 위해 프로젝션 헤드를 사용하여 의미 있는 상관관계 계산을 가능하게 한다.
• 콘텐츠 임베딩 간의 정렬을 향상시켜 지식 정련을 강화하기 위해 제논-샤논 분산 손실($L_{JS}$)을 적용한다.
• 도메인 이동의 불변성을 측정하고 활용하기 위해 조명 상관관계($Cor_{illu}$)와 본질적 상관관계($Cor_{in}$)를 도입한다.
• 세분화 수준의 정련 이전에 글로벌 스타일 격차를 줄이기 위해 LAB 기반 색상 공간 변환을 적용한다.
• 콘텐츠 정련(CCD)과 스타일 정련(CDS)을 결합하여 세분화 일致성과 스타일 정렬을 동시에 달성한다.

실험 결과

연구 질문

• RQ1 교차 도메인 상관관계 정련은 야간 세분화에서 조명 차이와 본질적 데이터셋 도메인 이동을 효과적으로 다룰 수 있는가?
• RQ2 콘텐츠 및 스타일 상관관계로 측정된 도메인 이동의 불변성은 비지도 도메인 적응에서 지식 정련을 어떻게 향상시키는가?
• RQ3 추가 학습 데이터나 스타일 전이 네트워크 없이도 일괄 처리, 엔드 투 엔드 프레임워크가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 각 구성 요소(예: 프로젝션 헤드, $L_{JS}$, CDS, LAB 변환)가 최종 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ5 큰 도메인 이동 상황에서 CDS를 통한 세분화 수준의 스타일 정렬이 직접 정련보다 우월한가?

주요 결과

• CCDistill은 Dark Zurich 테스트 세트에서 47.5% mIoU를 기록하여 비지도 야간 세분화 분야에서 새로운 최신 기술 수준을 수립한다.
• 교차 도메인 콘텐츠 정련(CCD) 구성 요소를 제거하면 mIoU가 2.2% 감소하여 성능 향상의 핵심 역할을 함을 입증한다.
• 프로젝션 헤드는 필수적이다. 이를 생략할 경우 mIoU가 9.3% 감소하여 도메인 갭 인식 특징 정렬이 효과적인 정련을 위해 필수적임을 보여준다.
• $L_{JS}$ 손실은 mIoU에 2.9% 향상 기여하여 콘텐츠 임베딩 정렬을 정교화하는 데 가치가 있음을 확인한다.
• CDS(Cross-domain style distillation)는 mIoU에 0.5% 기여하며, 이를 제거하면 3.5% 감소하여 세분화 수준의 스타일 전이에서의 핵심적 역할을 확인한다.
• LAB 기반 색상 공간 변환은 성능을 4% 향상시켜 글로벌 스타일 정렬이 후속 세분화 전이의 난이도를 감소시킴을 입증한다.