[논문 리뷰] Generalizable Semantic Segmentation via Model-agnostic Learning and Target-specific Normalization

Jian Zhang, Qi Lei외 2명|arXiv (Cornell University)|2020. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 도메인 일반화 프레임워크를 제안하며, 모델에 종속되지 않는 학습과 타겟 전용 정규화를 결합하여 미리 보지 않은 도메인으로의 일반화 성능을 향상시킨다. 훈련 중 도메인 이동을 시뮬레이션하고, 정규화 통계를 타겟 도메인에 맞게 조정함으로써, Cityscapes 및 Mapillary 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Semantic segmentation methods in the supervised scenario have achieved significant improvement in recent years. However, when directly deploying the trained model to segment the images of unseen (or new coming) domains, its performance usually drops dramatically due to the data-distribution discrepancy between seen and unseen domains. To overcome this limitation, we propose a novel domain generalization framework for the generalizable semantic segmentation task, which enhances the generalization ability of the model from two different views, including the training paradigm and the data-distribution discrepancy. Concretely, we exploit the model-agnostic learning method to simulate the domain shift problem, which deals with the domain generalization from the training scheme perspective. Besides, considering the data-distribution discrepancy between source domains and unseen target domains, we develop the target-specific normalization scheme to further boost the generalization ability in unseen target domains. Extensive experiments highlight that the proposed method produces state-of-the-art performance for the domain generalization of semantic segmentation on multiple benchmark segmentation datasets (i.e., Cityscapes, Mapillary). Furthermore, we gain an interesting observation that the target-specific normalization can benefit from the model-agnostic learning scheme.

연구 동기 및 목표

• 도메인 이동으로 인해 새로운 도메인에 모델을 배포할 때 세분화 성능이 저하되는 문제를 해결하기 위해.
• 모델에 종속되지 않는 학습 접근 방식을 사용하여 훈련 중 도메인 이동을 시뮬레이션함으로써 모델의 일반화 성능을 향상시키기 위해.
• 소스 도메인과 새로운 타겟 도메인 간의 데이터 분포 불일치를 타겟 전용 정규화 기반으로 줄이기 위해.
• 훈련 중 타겟 도메인 레이블이 필요 없이, 도메인 외 테스트 세트에서의 일반화 성능을 향상시키기 위해.

제안 방법

• 모델에 종속되지 않는 학습을 적용하여, 다양한 도메인 분포에 대한 강건성을 유도하는 메타학습 목표를 최적화함으로써 훈련 중 도메인 이동을 시뮬레이션한다.
• 추론 중 타겟 도메인 통계에 기반해 배치 정규화 통계를 조정하는 타겟 전용 정규화 레이어를 도입한다.
• 다양한 소스 도메인을 통해 기대 오차를 최소화하는 메타최적화 기반으로 세분화 백본을 훈련시킨다.
• 도메인 불변 특징 학습을 활용하여 모델이 도메인 특수한 특징보다 의미적 콘텐츠에 집중하도록 유도한다.
• 이중 단계 훈련 과정을 사용한다: 첫 번째 단계는 소스 도메인에서 모델을 사전 훈련하는 것; 두 번째 단계는 타겟 전용 정규화 레이어를 사용해 미세조정하는 것.
• 타겟 도메인의 특징 수준 통계을 활용하여 정규화 파rameter를 校정함으로써, 새로운 도메인으로의 적응 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 학습이 도메인 이동을 효과적으로 시뮬레이션하고 세분화의 일반화 성능 향상에 기여하는가?
• RQ2 타겟 전용 정규화가 새로운 타겟 도메인에서 성능 향상에 뚜렷한 기여를 하는가?
• RQ3 모델에 종속되지 않는 학습과 타겟 전용 정규화의 조합이 개별 구성 요소보다 일반화 성능에 더 큰 영향을 미치는가?
• RQ4 제안된 방법이 세분화의 표준 도메인 일반화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 도메인 일반화 세분화에 대해 Cityscapes 및 Mapillary 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 모델에 종속되지 않는 학습과 타겟 전용 정규화의 통합은 새로운 도메인에서 기준 방법 대비 성능 향상에 뚜렷한 기여를 한다.
• 타겟 전용 정규화는 모델에 종속되지 않는 학습과 조합되었을 때 뚜렷한 성능 향상을 보이며, 상호 보완적인 이점이 있음을 시사한다.
• 훈련 중에 볼 수 없었던 도메인으로도 잘 일반화되어, 도메인 이동에 대한 강건성을 입증한다.