[논문 리뷰] Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

Lin Chen, Zhixiang Wei외 5명|arXiv (Cornell University)|2022. 09. 16.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 도메인 적응형 세분화에 대한 새로운 방법인 고찰적 도메인 브리징(Deliberated Domain Bridging, DDB)을 제안한다. DDB는 굵은 영역 수준과 세밀한 클래스 수준의 이중 경로 데이터 혼합과 상호 경로 지식 정복을 결합하여 소스 도메인과 타겟 도메인을 점진적으로 정렬한다. DDB는 두 개의 상호 보완적인 테이처 모델을 번갈아가며 훈련하고, 그 지식을 단일 학생 모델에 정복함으로써 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. G→C 설정에서 mIoU 성능 향상은 최대 62.7%에 이른다.

ABSTRACT

In unsupervised domain adaptation (UDA), directly adapting from the source to the target domain usually suffers significant discrepancies and leads to insufficient alignment. Thus, many UDA works attempt to vanish the domain gap gradually and softly via various intermediate spaces, dubbed domain bridging (DB). However, for dense prediction tasks such as domain adaptive semantic segmentation (DASS), existing solutions have mostly relied on rough style transfer and how to elegantly bridge domains is still under-explored. In this work, we resort to data mixing to establish a deliberated domain bridging (DDB) for DASS, through which the joint distributions of source and target domains are aligned and interacted with each in the intermediate space. At the heart of DDB lies a dual-path domain bridging step for generating two intermediate domains using the coarse-wise and the fine-wise data mixing techniques, alongside a cross-path knowledge distillation step for taking two complementary models trained on generated intermediate samples as 'teachers' to develop a superior 'student' in a multi-teacher distillation manner. These two optimization steps work in an alternating way and reinforce each other to give rise to DDB with strong adaptation power. Extensive experiments on adaptive segmentation tasks with different settings demonstrate that our DDB significantly outperforms state-of-the-art methods. Code is available at https://github.com/xiaoachen98/DDB.git.

연구 동기 및 목표

• 기존의 도메인 브리징 방법이 밀도 높은 예측 작업, 예를 들어 세분화에서 가지는 한계를 해결하기 위해, 스타일 전이 기반 접근법이 잡음과 레이블 공간 정렬 실패를 유발한다는 점을 고려한다.
• 세분화의 의미적 일관성을 유지하고 타겟 도메인에서의 클래스 혼동을 줄이는 더 효과적이고 의도적인 도메인 브리징 전략을 개발한다.
• 데이터 혼합을 통한 상호 보완적인 중간 표현을 구성함으로써 소스에서 타겟 도메인으로의 점진적 지식 전달을 가능하게 한다.
• 이중 경로 도메인 브리징과 상호 경로 지식 정복을 결합한 새로운 번갈아가며 최적화하는 프레임워크를 통해 적응 성능을 향상시킨다.

제안 방법

• 이중 경로 도메인 브리징(Dual-Path Domain Bridging, DPDB)은 굵은 영역 수준 혼합(e.g., CutMix)과 세밀한 클래스 수준 혼합(e.g., ClassMix)을 사용해 두 개의 중간 도메인을 구성하고, 각 경로에 대해 전문 테이처 모델을 훈련한다.
• 상호 경로 지식 정복(Cross-Path Knowledge Distillation, CKD)은 두 테이처 모델이 타겟 도메인의 비라벨 데이터를 기반으로 단일 학생 모델을 지도하며, 하드 정복과 적응형 앙상블 기법을 활용해 일반화 능력을 향상시킨다.
• DPDB와 CKD 단계는 훈련 중에 번갈아가며 수행되어 테이처와 학생 모델 간 상호 강화를 유도하여 도메인 간 불일치를 점진적으로 감소시킨다.
• 이 방법은 국소적 교체 기반 데이터 혼합을 활용해 객체 수준의 의미 일관성을 유지하며, 전역 보간 방법에서 흔히 발생하는 픽셀 수준의 모호성을 방지한다.
• 자기 훈련 파이프라인을 통해 엔드 투 엔드로 훈련되며, 학생 모델은 테이처 모델에서 생성된 가짜 라벨을 반복적으로 이용해 개선된다.
• CKD의 적응형 앙상블 기법은 두 테이처 모델의 예측을 동적으로 조합하여 학생 모델의 강건성 향상과 클래스 편향 감소를 도모한다.

실험 결과

연구 질문

• RQ1 데이터 혼합 기법을 단순한 증강 수단이 아닌, 의도적인 도메인 브리징 메커니즘으로 효과적으로 재사용할 수 있는가?
• RQ2 거시적이고 미시적인 데이터 혼합이 서로 어떻게 보완되어 밀도 높은 예측 작업에서 도메인 정렬을 향상시킬 수 있는가?
• RQ3 이중 경로 브리징과 상호 경로 정복 간의 번갈아가며 최적화가 도메인 적응형 세분화에서 지식 전달과 모델 일반화를 향상시키는가?
• RQ4 하드 정복과 적응형 앙성과 함께 사용된 상호 경로 정복이 표준 소프트 정복과 단일 경로 지식 전달을 능가하는가?

주요 결과

• G→C 벤치마크에서, 학생 모델은 DPDB와 CKD를 두 번 번갈아 수행한 후 62.7%의 mIoU를 기록했으며, 소스 전용 기준선인 32.1%보다 뚜렷이 높았다.
• 테이처 모델의 상호 경로 앙상블은 G→C 설정에서 58.2%의 mIoU를 달성하여 거시적 및 미시적 혼합 경로 간의 상호 보완성을 입증했다.
• CKD에서 하드 정복과 적응형 앙성 기법을 사용한 결과, 표준 소프트 정복 대비 1.3 mIoU 향상으로 정복 전략의 효과성을 입증했다.
• 모든 벤치마크에서 학생 모델은 두 번째 훈련 라운드에서 최고 성능을 기록했으며, 다중 소스 및 다중 타겟 설정에서 도메인 갈등으로 인해 후속 라운드에서 약간의 성능 저하가 발생했다.
• 제거 분석 결과, 이중 경로에서 훈련된 모델은 항상 단일 경로 모델보다 우수했으며, 상호 경로 앙상블은 뛰어난 강건성과 감소된 클래스 혼동을 보였다.