[논문 리뷰] Multiple Fusion Adaptation: A Strong Framework for Unsupervised Semantic Segmentation Adaptation

Kai Zhang, Yifan Sun외 3명|arXiv (Cornell University)|2021. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 5

한 줄 요약

이 논문은 세 가지 병렬 융합 전략—온라인-오프라인 가짜 라벨 융합, 크로스모델 융합, 시간적 융합—을 공학 학습 프레임워크 내에 통합한 새로운 비지도 도메인 적응 프레임워크인 다중 융합 적응(MFA)을 제안한다. MFA는 추가적인 애너테이션 없이도 라벨 없이 지정된 타겟 도메인에서 분할 정확도를 크게 향상시키며, GTA5-to-Cityscapes에서 58.2% mIoU, SYNTHIA-to-Cityscapes에서 62.5% mIoU를 기록하여 최신 기술(SoTA) 성능을 달성한다.

ABSTRACT

This paper challenges the cross-domain semantic segmentation task, aiming to improve the segmentation accuracy on the unlabeled target domain without incurring additional annotation. Using the pseudo-label-based unsupervised domain adaptation (UDA) pipeline, we propose a novel and effective Multiple Fusion Adaptation (MFA) method. MFA basically considers three parallel information fusion strategies, i.e., the cross-model fusion, temporal fusion and a novel online-offline pseudo label fusion. Specifically, the online-offline pseudo label fusion encourages the adaptive training to pay additional attention to difficult regions that are easily ignored by offline pseudo labels, therefore retaining more informative details. While the other two fusion strategies may look standard, MFA pays significant efforts to raise the efficiency and effectiveness for integration, and succeeds in injecting all the three strategies into a unified framework. Experiments on two widely used benchmarks, i.e., GTA5-to-Cityscapes and SYNTHIA-to-Cityscapes, show that our method significantly improves the semantic segmentation adaptation, and sets up new state of the art (58.2% and 62.5% mIoU, respectively). The code will be available at https://github.com/KaiiZhang/MFA.

연구 동기 및 목표

• 추가 애너테이션을 요구하지 않고, 라벨이 있는 소스 도메인과 라벨이 없는 타겟 도메인 간의 도메인 갭을 해소한다.
• 기존의 정적 오프라인 가짜 라벨에 의존하는 전통적 가짜 라벨링 방법이 어려운, 정보가 풍부한 샘플을 무시하는 한계를 극복한다.
• 공학 학습자로부터의 온라인 예측, 오프라인 가짜 라벨, 시간 평균 모델 등 여러 출처의 감독 신호를 융합하여 자기 학습의 효율성과 강건성을 향상시킨다.
• 세 가지 상호보완적인 융합 메커니즘을 동시에 활용하여 모델 일반화 능력과 가짜 라벨 품질을 향상시키는 통합 프레임워크를 개발한다.

제안 방법

• 두 모델(Net A 및 Net B)을 사용하는 공학 학습 프레임워크를 도입하며, 각 모델은 자신만의 오프라인 가짜 라벨과 공학 학습자에 의해 생성된 온라인 가짜 라벨에 의해 상호 보조된다.
• 공학 학습자의 모멘타 평균 버전을 통해 온라인 가짜 라벨를 생성함으로써 온라인-오프라인 가짜 라벨 융합을 도입하며, 이는 오프라인 라벨가 무시하는 하드하고 정보가 풍부한 샘플을 적응적으로 포착한다.
• 현재 모델와 그 모멘타 평균 복제본 간의 일致성 손실을 통해 시간적 융합을 구현함으로써 학습을 안정화하고 가짜 라벨의 노이즈를 감소시킨다.
• 양쪽 모델이 함께 오프라인 가짜 라벨를 생성함으로써 크로스모델 융합을 적용하여 라벨 품질을 향상시키고 자기 학습 과정에서의 편향을 줄인다.
• 온라인-오프라인, 크로스모델, 시간적 융합의 세 가지 융합 전략을 하나의 효율적인 프레임워크에 통합한 통합 학습 파이프라인을 사용한다.
• 공학 학습자의 최신 파rameter를 활용하여 더 정확하고 동적인 온라인 가짜 라벨를 생성함으로써 반복적 자기 학습 과정에서 노이즈 감독에 노출되는 것을 줄인다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응을 위한 의미 분할에서, 가짜 라벨의 품질과 다양성을 어떻게 향상시킬 수 있는가?
• RQ2 학습 중 실시간으로 생성되는 온라인 가짜 라벨는 전통적인 오프라인 가짜 라벨를 보완하여 어려운 분할 영역을 얼마나 잘 포착할 수 있는가?
• RQ3 온라인-오프라인, 크로스모델, 시간적 융합의 다중 융합 메커니즘 통합이 모델의 강건성과 적응 성능을 어떻게 상호보완적으로 향상시킬 수 있는가?
• RQ4 이중 단계 UDA 파이프라인에서 각 융합 전략이 최종 분할 정확도에 기여하는 상대적 기여도는 어떠한가?
• RQ5 동적 라벨 융합을 통한 제안된 공학 학습 프레임워크는 표준 벤치마크에서 표준 자기 학습 기반 모델 및 기존 최신 기술 방법을 초월하는가?

주요 결과

• MFA는 GTA5-to-Cityscapes 벤치마크에서 58.2% mIoU를 기록하여 이전 방법들보다 크게 뛰어난 새로운 최신 기술 성능을 달성한다.
• SYNTHIA-to-Cityscapes 벤치마크에서는 62.5% mIoU를 기록하여 새로운 최신 기술 결과를 수립하며, 도메인 이동에 대한 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, 시간적, 크로스모델, 온라인-오프라인 융합의 세 구성 요소 조합이 기본 자기 학습 기반 모델 대비 10.1% mIoU 향상을 이룬다.
• 온라인-오프라인 가짜 라벨 융합이 가장 크게 기여하며, 기본 자기 학습 대비 +7.1% mIoU 향상을 제공하여 하드 샘플을 포착하는 데 효과적임을 입증한다.
• 크로스모델 융합과 시간적 융합의 포함은 각각 +6.1% 및 +5.0%의 추가 향상을 이끌어내어 상호보완적인 역할을 하고 있음을 보여준다.
• 모멘타 평균 공학 학습자와 함께 사용되는 공학 학습 프레임워크는 온라인 가짜 라벨 생성을 안정화시켜 노이즈를 감소시키고 자기 학습 과정에서 수렴성을 향상시킨다.