[논문 리뷰] Context-Aware Mixup for Domain Adaptive Semantic Segmentation

Qianyu Zhou, Zhengyang Feng외 6명|arXiv (Cornell University)|2021. 08. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 13

한 줄 요약

이 논문은 의미 분할을 위한 새로운 도메인 적응 프레임워크인 Context-Aware Mixup (CAMix)을 제안한다. 이는 학습된 문맥 마스크와 중요도 재가중 일致성 손실을 통해 교차 도메인 간 문맥적 의존성을 명시적으로 활용한다. 입력, 출력, 중요도 마스크 수준에서 혼합을 이끌어내어 일반화 성능을 햖고 부정적 전이를 완화하며, GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 각각 최대 3.1%와 2.8%의 mIoU 향상을 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to adapt a model of the labeled source domain to an unlabeled target domain. Existing UDA-based semantic segmentation approaches always reduce the domain shifts in pixel level, feature level, and output level. However, almost all of them largely neglect the contextual dependency, which is generally shared across different domains, leading to less-desired performance. In this paper, we propose a novel Context-Aware Mixup (CAMix) framework for domain adaptive semantic segmentation, which exploits this important clue of context-dependency as explicit prior knowledge in a fully end-to-end trainable manner for enhancing the adaptability toward the target domain. Firstly, we present a contextual mask generation strategy by leveraging the accumulated spatial distributions and prior contextual relationships. The generated contextual mask is critical in this work and will guide the context-aware domain mixup on three different levels. Besides, provided the context knowledge, we introduce a significance-reweighted consistency loss to penalize the inconsistency between the mixed student prediction and the mixed teacher prediction, which alleviates the negative transfer of the adaptation, e.g., early performance degradation. Extensive experiments and analysis demonstrate the effectiveness of our method against the state-of-the-art approaches on widely-used UDA benchmarks.

연구 동기 및 목표

• 기존의 비지도 도메인 적응(UDA) 방법이 도메인 간 공유되는 문맥적 의존성을 크게 간과하고 있다는 한계를 해결하기 위해.
• 적응 과정에서 교차 도메인 문맥을 사전 지식으로 명시적으로 모델링하고 전달하여 도메인 갭을 줄이기 위해.
• 특히 초기 학습 단계에서 발생하는 부정적 전이와 학습 불안정성을 완화하기 위해.
• 목표 도메인의 희귀 및 긴 꼬리 분류에 대해 성능을 향상시키는 완전한 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 도메인 적응 의미 분할에서 복잡한 적대적 또는 자기학습 파이프라인에 대한 단순하면서도 효과적인 대안을 제공하기 위해.

제안 방법

• 공간 분포와 사전 문맥적 관계를 활용하여 믹스업을 이끄는 마스크를 생성하는 문맥 마스크 생성(CMG) 전략을 제안한다.
• 생성된 문맥 마스크를 사용하여 입력 수준(이미지 혼합), 출력 수준(가짜 라벨 혼합), 중요도 마스크 수준(신뢰도 인식 혼합)에서 세 가지 수준의 믹스업을 적용한다.
• 예측 신뢰도에 기반한 가중치를 사용하여 혼합된 학생 모델과 교사 모델 예측 간의 일관성 불일치를 페널티 처리하는 중요도 재가중 일관성 손실(SRC)을 도입한다.
• 초기 하이퍼파라미터 β와 γ에 의해 제어되는 동적 임계값 설정 메커니즘을 통해 학습 중에 일관성 손실을 적응적으로 조정한다.
• 교사-학생 프레임워크와 일관성 정규화를 활용하며, 교사 모델이 학생 모델을 위해 가짜 라벨을 제공하고, 입력과 출력 양쪽에 믹스업을 적용한다.
• 전체 프레임워크는 완전히 엔드 투 엔드로 학습 가능하여, 문맥 모델링, 믹스업, 일관성 정규화의 동시 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 교차 도메인 간 문맥적 의존성을 명시적으로 모델링하면 의미 분할의 도메인 적응 성능이 향상되는가?
• RQ2 어떻게 문맥적 관계를 효과적으로 인코딩하고 도메인 믹스업에서 활용하여 문맥 위반 데이터 증강을 방지할 수 있는가?
• RQ3 문맥 인식 일관성 정규화를 통합하면 UDA에서의 학습 불안정성과 초기 성능 저하를 줄일 수 있는가?
• RQ4 희귀 또는 긴 꼬리 분류에서 제안된 방법이 목표 도메인에서 얼마나 향상된 성능을 달성하는가?
• RQ5 간단하면서도 엔드 투 엔드로 학습 가능한 프레임워크가 복잡한 다단계 적대적 또는 자기학습 접근 방식을 능가할 수 있는가?

주요 결과

• CAMix는 GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성하며, iDACS 기준 SOTA 기준선 대비 최대 3.1%와 2.8%의 mIoU 향상을 기록한다.
• 희귀 카테고리인 'traffic sign'과 'rider'의 경우, 더 나은 일반화와 과적합 감소로 인해 클래스별 IoU가 크게 향상된다.
• 중요도 재가중 일관성 손실(SRC)은 성능 곡선을 통해 학습 불안정성과 초기 성능 저하를 효과적으로 완화함을 보여준다.
• 하이퍼파라미터 분석 결과 최적의 성능는 β=0.75 및 γ=-5에서 달성되며, 다양한 데이터셋과 설정에서 뛰어난 내구성을 보인다.
• 정성적 결과는 'road', 'sidewalk', 'truck'와 같은 복잡하고 대규모 카테고리에서 더 신뢰도 높고 정확한 예측을 생성함을 보여준다.
• 문맥 마스크 생성 전략은 객체 수준의 문맥을 성공적으로 유지하여, 보행자가 차량 위에 있거나 건물 속으로 하늘이 통과하는 등의 비현실적인 믹스업을 방지한다.