[논문 리뷰] MLAN: Multi-Level Adversarial Network for Domain Adaptive Semantic Segmentation
이 논문은 다중 수준의 적대적 학습과 공통 정규화를 통합한 MLAN을 제안하며, 전역 이미지 수준 및 국소 영역 수준에서 특징을 동시에 정렬함으로써 도메인 적응형 세분화 성능을 햖थ한다. 지역 수준의 적대적 학습(RL-AL)과 공통 정규화된 적대적 학습(CR-AL)을 도입함으로써, 여러 벤치마크에서 안정적이고 강건한 도메인 적응을 달성하며, 최신 기술을 크게 앞서는 세분화 정확도를 확보한다.
Recent progresses in domain adaptive semantic segmentation demonstrate the effectiveness of adversarial learning (AL) in unsupervised domain adaptation. However, most adversarial learning based methods align source and target distributions at a global image level but neglect the inconsistency around local image regions. This paper presents a novel multi-level adversarial network (MLAN) that aims to address inter-domain inconsistency at both global image level and local region level optimally. MLAN has two novel designs, namely, region-level adversarial learning (RL-AL) and co-regularized adversarial learning (CR-AL). Specifically, RL-AL models prototypical regional context-relations explicitly in the feature space of a labelled source domain and transfers them to an unlabelled target domain via adversarial learning. CR-AL fuses region-level AL and image-level AL optimally via mutual regularization. In addition, we design a multi-level consistency map that can guide domain adaptation in both input space ($i.e.$, image-to-image translation) and output space ($i.e.$, self-training) effectively. Extensive experiments show that MLAN outperforms the state-of-the-art with a large margin consistently across multiple datasets.
연구 동기 및 목표
- 합성(소스) 이미지와 실제(타겟) 이미지 간의 분포 차이로 인한 도메인 이동 문제를 해결하기 위해.
- 전역 이미지 수준의 적대적 학습이 국소 영역 수준의 맥락 관계를 포착하지 못하는 한계를 극복하기 위해.
- 전역 수준과 국소 수준의 도메인 정렬을 동시에 최적화하여 훈련 안정성과 성능을 향상시키기 위해.
- 입력 공간과 출력 공간에서 모두 적응을 안내하는 다중 수준 일致성 맵(MLCM)을 개발하기 위해.
- 초기 설정에 민감하지 않은 강건한 성능을 통해 우수한 도메인 적응 성능를 달성하기 위해.
제안 방법
- 소스 도메인에서 타겟 도메인의 특징 공간으로 프로토타입적 영역 맥락 관계를 명시적으로 모델링하고 전이하기 위해 지역 수준의 적대적 학습(RL-AL)을 제안한다.
- 전역 일치 제약 조건과 국소 일치 제약 조건을 통해 전역 수준과 국소 수준의 적대적 학습을 상호 정규화하는 공통 정규화된 적대적 학습(CR-AL)을 도입한다.
- 입력 공간(이미지 간 번역을 위해)과 출력 공간(자기 훈련을 위해)에서 도메인 갭이 큰 영역을 식별하는 다중 수준 일치 맵(MLCM)을 설계한다.
- 상호 정규화를 활용: 국소 일치성이 낮은 영역의 경우 RL-AL 손실을 증가시키고, 전역 도메인 갭이 큰 이미지의 경우 IL-AL 손실을 증가시킨다.
- 공유 인코더와 전역 수준 및 국소 수준 정렬을 위한 별도의 도메인 구분자로 구성된 이중 브랜치 네트워크를 사용한다.
- MLCM를 통한 자기 훈련을 통합하여 도메인 갭이 큰 어려운 샘플의 의사 레이블링을 우선시함으로써, 쉽게 분류되는 샘플에 대한 과적합을 줄인다.
실험 결과
연구 질문
- RQ1전역 이미지 수준과 국소 영역 수준의 도메인 정렬을 공동 최적화하면 비지도 도메인 적응에서 세분화 성능가 향상되는가?
- RQ2전역 수준과 국소 수준의 적대적 학습 간의 공통 정규화는 훈련 안정성과 모델 강건성에 어떻게 기여하는가?
- RQ3다중 수준 일치 맵은 입력 공간과 출력 공간에서 얼마나 효과적으로 적응을 향상시키는가?
- RQ4제안된 방법은 다양한 도메인 이동 시나리오에서 기존 최첨단 기술을 뛰어넘는가?
- RQ5모델는 하이퍼파rameter 설정에 얼마나 민감한가? 정규화는 훈련 안정성을 향상시키는가?
주요 결과
- MLAN은 GTA5-to-Cityscapes 및 Cityscapes-to-Cityscapes 벤치마크에서 최첨단 성능을 달성하며, 이전 최첨단 기술을 크게 앞서 간다.
- 제안된 정규화된 RL-AL 및 IL-AL는 상당히 향상된 강건성을 보이며, 다양한 가중치 요소 범위에서 세분화 정확도가 1.2% 이내로 변동한다.
- GTA5-to-Cityscapes 벤치마크에서 MLAN은 ResNet-101을 사용해 평균 교차율(mIoU) 46.1%를 달성하며, 이전 최첨단 기술보다 2.5% 이상 높은 성능을 기록한다.
- 절단 분석 결과, CR-AL과 MLCM 모두 성능 향상에 기여하며, 특히 나무 줄기 등을 전봇대로 잘못 분류하는 등의 국소 맥락 관계 오류를 수정하는 데 기여한다.
- 파rameter 연구 결과, 원래의 적대적 손실은 불안정한 편이지만, 제안된 정규화는 훈련을 안정화시키고 하이퍼파rameter에 대한 민감도를 감소시킨다.
- MLCM를 활용해 자기 훈련을 도메인 갭이 큰 영역으로 유도함으로써, 쉽게 분류되는 샘플에 대한 과적합을 효과적으로 방지하고 일반화 성능를 향상시킨다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.