[논문 리뷰] WildNet: Learning Domain Generalized Semantic Segmentation from the Wild

Suhyeon Lee, Hongje Seong외 2명|arXiv (Cornell University)|2022. 04. 04.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

WildNet는 원천 도메인의 내용과 스타일을 다양한 레이블이 없는 '와일드' 이미지로 확장함으로써 일반화 성능을 향상시키는 도메인 일반화된 세분화 모델을 제안한다. 특징 스타일화, 내용 확장 학습, 스타일 확장 학습, 의미 일致성 정규화를 활용하여 WildNet는 미사용 타겟 도메인에서 44.62%의 mIoU를 기록하며 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 스타일이나 내용을 별도로 다루는 기존 방법보다 뚜렷하게 뛰어나다.

ABSTRACT

We present a new domain generalized semantic segmentation network named WildNet, which learns domain-generalized features by leveraging a variety of contents and styles from the wild. In domain generalization, the low generalization ability for unseen target domains is clearly due to overfitting to the source domain. To address this problem, previous works have focused on generalizing the domain by removing or diversifying the styles of the source domain. These alleviated overfitting to the source-style but overlooked overfitting to the source-content. In this paper, we propose to diversify both the content and style of the source domain with the help of the wild. Our main idea is for networks to naturally learn domain-generalized semantic information from the wild. To this end, we diversify styles by augmenting source features to resemble wild styles and enable networks to adapt to a variety of styles. Furthermore, we encourage networks to learn class-discriminant features by providing semantic variations borrowed from the wild to source contents in the feature space. Finally, we regularize networks to capture consistent semantic information even when both the content and style of the source domain are extended to the wild. Extensive experiments on five different datasets validate the effectiveness of our WildNet, and we significantly outperform state-of-the-art methods. The source code and model are available online: https://github.com/suhyeonlee/WildNet.

연구 동기 및 목표

• 원천 도메인의 내용과 스타일에 과적합되어 발생하는 새로운 타겟 도메인에서의 세분화 모델 일반화 성능 저하 문제를 해결하기 위해.
• 스タイ링 화이트닝 또는 도메인 불변 특징 학습에만 집중하는 기존 도메인 일반화 방법의 한계를 극복하기 위해.
• 레이블이 없는 와일드 이미지를 활용해 내용과 스타일을 다양화함으로써 도메인 일반화된 특징을 학습함으로써 모델의 강건성을 향상시키기 위해.
• 레이블이 없는 타겟 데이터가 필요 없이도 새로운 도메인에서 신뢰할 수 있는 세분화 예측을 가능하게 하기 위해.

제안 방법

• 특징 스타일화는 여러 층을 거쳐 와일드 이미지의 통계적 특징(평균 및 분산)을 원천 특징에 전달하여 스타일 다양성을 증가시킨다.
• 내용 확장 학습은 고정 크기의 와일드 특징 사전을 통해 와일드 이미지의 의미적 변형을 도입함으로써 잠재 공간 내의 동일 클래스 간 변동성을 증가시킨다.
• 스타일 확장 학습은 학습 중 원천 특징에 스타일화된 와일드 특징을 추가하여 네트워크가 다양한 와일드 스타일에 적응하도록 유도한다.
• 의미 일치성 정규화는 내용과 스타일이 모두 와일드 분포로 확장되더라도 예측이 일관성을 유지하도록 보장한다.
• 메모리 비용을 줄이기 위해 효율적인 저장 및 검색을 위한 균일 샘플링을 활용한 대비 손실을 사용하여 다양한 와일드 콘텐츠를 특징 사전에 저장한다.

실험 결과

연구 질문

• RQ1 원천 도메인의 내용과 스타일을 레이블이 없는 와일드 이미지로 확장하는 것이 도메인 일반화된 세분화에서 성능 향상에 기여하는가?
• RQ2 스タイ링이나 콘텐츠를 별도로 정규화하는 것보다 다양한 와일드 콘텐츠와 스타일에서 학습하는 것이 더 나은 일반화 성능을 이끌어내는가?
• RQ3 콘텐츠와 스타일 확장의 조합이 새로운 타겟 도메인에서 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 일반화 성능을 최대화하기 위해 특징 스타일화와 콘텐츠 확장의 최적 설정은 무엇인가?

주요 결과

• GTAV에서 훈련한 WildNet는 Cityscapes 검증 세트에서 44.62%의 mIoU를 기록하였으며, 베이스라인(35.16%)과 RobustNet(36.58%)를 크게 앞서나갔다.
• 내용과 스타일을 모두 와일드로 확장함으로써 베이스라인 대비 +5.54% 향상된 일반화 성능을 달성하여 공동 다양화의 효과를 입증하였다.
• 와일드 스타일 통계를 특징 스타일화에 활용할 경우 무작위 스타일 증강 대비 +7.27% 성능 향상을 기록하여 자연스러운 스타일 분포의 중요성을 입증하였다.
• 크기가 393,216인 와일드 콘텐츠 사전을 사용한 콘텐츠 확장은 전체 사전이 아닌 미니배치 내에서 적용되어도 일반화 성능 향상에 기여하며, 확장성의 잠재력을 보였다.
• 더 깊은 층에 특징 스타일화를 적용할 경우 성능이 약간 저하됨을 관찰하여, 깊은 층에서는 의미적 콘텐츠를 더 강하게 유지해야 함을 시사하였다.
• 균일 샘플링은 랜덤 샘플링보다 더 우수한 성능을 보였으며, 더 다양하고 대표적인 콘텐츠 표현을 생성하였다.