[논문 리뷰] Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation

Yuyang Zhao, Zhun Zhong외 3명|arXiv (Cornell University)|2022. 04. 06.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 영상 분할에서 합성 데이터에서 실제 데이터로의 도메인 일반화를 위한 스타일 환영 이중 일관성 학습 프레임워크인 SHADE를 제안한다. 새로운 스타일 환영 모듈(ShM)을 통해 스타일 일관성(SC)과 후행 일관성(RC)을 도입함으로써, 다양한 실재감 있는 스타일 증강 합성 샘플을 생성하고, 이들 간 및 실제 세계 지식과의 일관성을 강제한다. 이로 인해 단일 및 다중 소스 설정에서 각각 평균 5.05% 및 8.35%의 mIoU 향상을 달성하며, 최신 기술(SOTA)을 초월한다.

ABSTRACT

In this paper, we study the task of synthetic-to-real domain generalized semantic segmentation, which aims to learn a model that is robust to unseen real-world scenes using only synthetic data. The large domain shift between synthetic and real-world data, including the limited source environmental variations and the large distribution gap between synthetic and real-world data, significantly hinders the model performance on unseen real-world scenes. In this work, we propose the Style-HAllucinated Dual consistEncy learning (SHADE) framework to handle such domain shift. Specifically, SHADE is constructed based on two consistency constraints, Style Consistency (SC) and Retrospection Consistency (RC). SC enriches the source situations and encourages the model to learn consistent representation across style-diversified samples. RC leverages real-world knowledge to prevent the model from overfitting to synthetic data and thus largely keeps the representation consistent between the synthetic and real-world models. Furthermore, we present a novel style hallucination module (SHM) to generate style-diversified samples that are essential to consistency learning. SHM selects basis styles from the source distribution, enabling the model to dynamically generate diverse and realistic samples during training. Experiments show that our SHADE yields significant improvement and outperforms state-of-the-art methods by 5.05% and 8.35% on the average mIoU of three real-world datasets on single- and multi-source settings, respectively.

연구 동기 및 목표

• 학습 중에 실제 세계 데이터가 이용 불가능한 상황에서 영상 분할 분야에서 합성 데이터와 실제 세계 데이터 간의 심각한 도메인 이동 문제를 해결하기 위해.
• 추가적인 실제 세계 데이터에 의존하지 않고 도메인 불변 표현을 학습하여, 미리 보지 않은 실제 세계 환경으로의 모델 일반화 성능을 향상시키기 위해.
• 기존 방법들이 합성 데이터에 과적합되거나 스타일 전이를 위해 실제 세계 데이터에 의존하는 한계를 극복하기 위해.
• 다양한 스타일 간 일관된 표현을 명시적으로 학습하고, 사전 훈련된 ImageNet 모델의 후행 지침을 통해 실제 세계 지식과 정렬하기 위해.
• 실제 세계 배포에 대한 안정적인 성능을 확보하기 위해 단일 소스 및 다중 소스 도메인 일반화 설정 모두에서 유연하게 작동할 수 있도록 하기 위해.

제안 방법

• 이 프레임워크는 두 가지 일관성 제약 조건을 적용한다: 스타일 일관성(SC)은 스타일 증강 합성 샘플 간 일관된 예측을 강제하고, 후행 일관성(RC)은 사전 훈련된 ImageNet 모델의 특징과 모델의 특징을 정렬하여 실제 세계 지식을 반영한다.
• 새로운 스타일 환영 모듈(SHM)은 특징 맵의 채널별 평균과 표준편차를 조작하여 다양한 실재감 있는 스타일 증강 샘플을 생성하며, 공간 정렬을 유지한다.
• SHM은 원본 분포에서 기초 스타일을 선택하기 위해 최대 거리 샘플링(Farhest Point Sampling, FPS)을 사용하여 희귀하고 다양한 스타일, 특히 실제 세계 도메인에 가까운 스타일까지 포함하도록 보장한다.
• SHM은 네트워크의 초기 레이어(예: ResNet의 layer0 이후)에 삽입되어 깊은 레이어에서의 의미 간섭을 피하면서도 스타일 표현을 극대화한다.
• 훈련 중 스타일 분포의 변화에 적응하기 위해, SHM은 매 k=3 에포크마다 기초 스타일을 동적으로 재선택한다.
• 이중 일관성 학습은 엔드 투 엔드로 최적화되며, SC는 스타일 변형에 대한 불변성을 촉진하고, RC는 합성 데이터에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 스타일 증강 합성 데이터는 도메인 일반화를 위한 영상 분할에서 미리 보지 않은 실제 세계 환경으로의 일반화 성능을 향상시키는가?
• RQ2 학습 중에 실제 세계 타겟 데이터에 접근할 수 없을 때, 모델은 어떻게 도메인 불변 표현을 학습할 수 있는가?
• RQ3 다양한 스타일 생성 전략이 모델의 일반화 및 내구성에 미치는 영향은 무엇인가?
• RQ4 사전 훈련된 ImageNet 모델의 후행 지식은 실제 세계 분포로의 일반화를 어떻게 향상시키는가?
• RQ5 다양한 기초 스타일을 선택하는 스타일 환영 모듈은 일관성 학습과 모델 성능을 크게 향상시키는가?

주요 결과

• SHADE는 단일 소스 도메인 일반화 설정에서 세 개의 실제 세계 데이터셋에 대해 최신 기술(SOTA) 대비 평균 5.05% 향상된 mIoU 성능을 기록했다.
• 다중 소스 설정에서는 SOTA 방법 대비 8.35%의 mIoU 향상을 달성하여 다양한 소스 도메인 간 강력한 일반화 성능을 입증했다.
• 제거 분석 결과, SHM에서 FPS 기반 기초 스타일 선택이 랜덤 및 K-means 기반 방법보다 훨씬 뛰어난 성능을 보였으며, 이는 희귀하고 다양한 스타일을 더 잘 커버하기 때문이다.
• SHM을 ResNet의 첫 번째 블록(L0) 이후에 삽입할 경우 가장 우수한 성능을 기록했으며, 얕은 레이어가 더 순수한 스타일 정보를 유지하기 때문이다.
• 매 3 에포크마다 기초 스타일을 재선택하는(k=3) 전략은 최적의 스타일 다양성과 성능을 유지하지만, 초기 단일 선택 전략은 mIoU가 41% 이하로 떨어지는 경향을 보였다.
• CityScapes에서 훈련하고 BDD100K, Mapillary(실제) 및 GTAV, SYNTHIA(합성) 도메인으로 일반화할 경우, SHADE는 모든 벤치마크에서 ISW와 IBN-Net을 모두 압도했다.