[논문 리뷰] Self-Ensembling with GAN-based Data Augmentation for Domain Adaptation in Semantic Segmentation

Jaehoon Choi, Taekyung Kim외 1명|arXiv (Cornell University)|2019. 09. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 30

한 줄 요약

이 논문은 도메인 간 차이를 줄이기 위해 GAN 기반의 타겟 유도형, 사이클 없는 데이터 증강(TGCF-DA)과 자기 앙상블을 결합한 새로운 도메인 적응 프레임워크를 제안한다. 타겟 도메인에서 유도된 의미적으로 일관된 스타일 전이 이미지를 생성하고, 교사 네트워크로부터 유도된 가짜 레이블을 활용함으로써, GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Deep learning-based semantic segmentation methods have an intrinsic limitation that training a model requires a large amount of data with pixel-level annotations. To address this challenging issue, many researchers give attention to unsupervised domain adaptation for semantic segmentation. Unsupervised domain adaptation seeks to adapt the model trained on the source domain to the target domain. In this paper, we introduce a self-ensembling technique, one of the successful methods for domain adaptation in classification. However, applying self-ensembling to semantic segmentation is very difficult because heavily-tuned manual data augmentation used in self-ensembling is not useful to reduce the large domain gap in the semantic segmentation. To overcome this limitation, we propose a novel framework consisting of two components, which are complementary to each other. First, we present a data augmentation method based on Generative Adversarial Networks (GANs), which is computationally efficient and effective to facilitate domain alignment. Given those augmented images, we apply self-ensembling to enhance the performance of the segmentation network on the target domain. The proposed method outperforms state-of-the-art semantic segmentation methods on unsupervised domain adaptation benchmarks.

연구 동기 및 목표

• 합성(소스) 도메인에서 실세계(타겟) 도메인으로의 이동 시 의미적 분할에서 발생하는 도메인 간 차이 문제를 해결한다.
• 자기 앙상블을 위한 수동적 데이터 증강의 국한된 점수를 보완한다. 이는 공간적 비일치 문제를 유발한다.
• 타겟 도메인 스타일을 전이하면서도 의미적 일관성을 유지하는 효율적인 사이클 없는 GAN 기반 데이터 증강 방법을 개발한다.
• 제안된 증강 기법과 자기 앙상블을 통합하여 타겟 도메인에서의 모델 일반화 능력을 향상시킨다.
• 의미적 분할을 위한 표준 비지도 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 의미적 일관성 손실를 제약 조건으로 사용하여 생성자에서 전역적·국소적 구조 보존을 보장하는, 타겟 도메인 이미지의 스타일을 전이하면서도 의미적 콘텐츠를 유지하는 GAN 기반의 데이터 증강 방법인 타겟 유도형·사이클 없는 데이터 증강(TGCF-DA)을 제안한다.
• 생성자에 의미적 일관성 손실를 적용하여 증강된 이미지에서 전역적·국소적 구조 보존을 확보한다.
• 타겟 도메인 스타일 특징를 조건으로 하여 사이클 일관성 조건 없이도 현실적인, 도메인에 맞는 증강 이미지를 생성한다.
• 교사-학생 아키텍처를 갖춘 자기 앙상블 프레임워크를 구현하여, 교사의 예측 결과를 학생의 가짜 레이블로 활용한다.
• 학습 중에 점진적으로 일관성 손실의 영향력을 증가시키기 위해 램프업 일관성 손실와 적응적 가중치를 적용한다.
• 시간에 따라 안정적인 교사 네트워크 예측을 확보하기 위해 지수 이동 평균(EMA)과 쇄내림 감쇠 기법을 사용한다.

Figure 1: The overall framework of our method. Given labeled synthetic data and unlabeled real data, we propose a Target-Guided and Cycle-Free Data Augmentation (TGCF-DA) method to generate labeled augmented data (green). We introduce two segmentation networks as the teacher and the student in order

실험 결과

연구 질문

• RQ1 사이클 일관성에 의존하지 않고도 GAN 기반의 타겟 유도형 데이터 증강이 의미적 분할에서 도메인 간 차이를 줄일 수 있는가?
• RQ2 기본적인 데이터 증강 대비 GAN 증강 데이터를 활용한 자기 앙상블은 도메인 적응 성능을 어떻게 향상시키는가?
• RQ3 제안된 사이클 없는, 의미적 일관성을 갖춘 증강 기법은 분할 작업에서 자기 앙상블의 공간적 비일치 문제를 완화하는가?
• RQ4 EMA 감쇠 및 일관성 손실의 램프업 계수와 같은 하이퍼파라미터는 모델 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 기본 자기 앙상블 대비, 이 방법은 소수 클래스에 대해 얼마나 더 높은 클래스별 IoU 향상을 이룰 수 있는가?

주요 결과

• 제안된 방법은 GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하여 기존 SOTA 방법들을 능가한다.
• GTA5→Cityscapes에서, 자기 앙상블 적용 시 기준 TGCF-DA(41.3) 대비 평균 IoU 42.5를 기록하여 유의미한 향상을 보였다.
• SYNTHIA→Cityscapes에서 평균 IoU 38.5를 달성하여 두 벤치마크에서 일관된 성능 향상을 입증했다.
• 클래스별 IoU 분석 결과, '도로'와 같은 다수 클래스에서는 더 큰 향상을 보였고, '버스'와 같은 소수 클래스에서는 상대적으로 낮은 향상이 관찰되어, 가짜 레이블 품질에 영향을 미치는 클래스 불균형 문제의 영향을 확인했다.
• 하이퍼파라미터 분석 결과, 후반기 학습에서 EMA 감쇠율 0.999 및 램프업 계수 δ₀ = 30 설정이 최적의 성능을 내는 것으로 나타났다.
• 시각적 결과는 의미적 제약 조건(λ_sem = 10)이 이미지 구조를 잘 유지하는 반면, 부족한 제약(λ_sem = 1)은 객체 혼합 및 의미적 열화를 유도함을 확인했다.

Figure 2: An overview of the proposed framework. 1) The source and target images are fed into Target-Guided generator to produce augmented images. 2) The supervised loss is a multi-class cross-entropy loss with source images and augmented images. 3) The consistency loss is a mean squared error betwe