[논문 리뷰] Semi-supervised domain adaptation with CycleGAN guided by a downstream task loss

Annika Mütze, Matthias Rottmann외 1명|arXiv (Cornell University)|2022. 08. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 학습된 분류 네트워크를 재학습하지 않고 도메인 간 차이를 줄이기 위해 도메인 적응을 위한 모듈러한 준지도 학습 방법을 제안한다. 이 방법은 사이클GAN 생성자에 하류의 의미 분할 작업 손실을 통한 지도를 제공함으로써 도메인 간 차이를 감소시킨다. 오직 14~70장의 실제 세계 레이블이 부여된 이미지만을 사용하여, Cityscapes에서 mIoU를 4~7%p 향상시키고 분류 작업에서 정확도를 7%p 향상시켰으며, 표준 사이클GAN 및 처음부터 학습한 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Domain adaptation is of huge interest as labeling is an expensive and error-prone task, especially when labels are needed on pixel-level like in semantic segmentation. Therefore, one would like to be able to train neural networks on synthetic domains, where data is abundant and labels are precise. However, these models often perform poorly on out-of-domain images. To mitigate the shift in the input, image-to-image approaches can be used. Nevertheless, standard image-to-image approaches that bridge the domain of deployment with the synthetic training domain do not focus on the downstream task but only on the visual inspection level. We therefore propose a "task aware" version of a GAN in an image-to-image domain adaptation approach. With the help of a small amount of labeled ground truth data, we guide the image-to-image translation to a more suitable input image for a semantic segmentation network trained on synthetic data (synthetic-domain expert). The main contributions of this work are 1) a modular semi-supervised domain adaptation method for semantic segmentation by training a downstream task aware CycleGAN while refraining from adapting the synthetic semantic segmentation expert 2) the demonstration that the method is applicable to complex domain adaptation tasks and 3) a less biased domain gap analysis by using from scratch networks. We evaluate our method on a classification task as well as on semantic segmentation. Our experiments demonstrate that our method outperforms CycleGAN - a standard image-to-image approach - by 7 percent points in accuracy in a classification task using only 70 (10%) ground truth images. For semantic segmentation we can show an improvement of about 4 to 7 percent points in mean Intersection over union on the Cityscapes evaluation dataset with only 14 ground truth images during training.

연구 동기 및 목표

• 합성 데이터에서 학습된 모델을 실제 세계 이미지로 이식할 때 의미 분할에서 발생하는 도메인 간 차이를 해결하기 위해.
• 큰 규모의 실제 세계 레이블에 의존하는 것을 줄이기 위해 실제 레이블이 소수인 이미지만을 사용하기 위해.
• 기존에 학습된 합성 도메인 분류 네트워크를 그대로 유지하는 모듈러한 도메인 적응 프레임워크를 개발하기 위해.
• 하류 네트워크 성능에 따라 지도되는 작업 인식 기반 이미지 간 변환을 통해 효과적인 적응을 가능하게 하기 위해.
• 이미지넷 사전학습 편향을 피하기 위해 모든 구성 요소를 처음부터 학습함으로써 더 덜 편향된 도메인 갭 분석을 제공하기 위해.

제안 방법

• 실제 세계 이미지를 합성 도메인 분포로 변환하는 데 목적이 있는 사이클GAN 기반의 이미지 간 변환 네트워크를 학습한다.
• 기존에 학습된 의미 분할 네트워크의 특징 맵에서 유도된 손실을 통해 생성자를 지도함으로써 변환 작업이 작업 인식이 되도록 한다.
• 두 단계 학습을 사용한다: 사이클GAN의 비지도 사전 학습 이후 소수의 실제 세계 레이블이 부여된 이미지를 사용한 미세조정.
• 하류 작업 손실은 두 번째 단계에서 적용되어 변환된 이미지가 의미 분할 네트워크의 기대치와 일치하도록 한다.
• 원래의 합성 도메인 분류 네트워크를 그대로 유지함으로써 모듈성을 확보하고 재학습을 방지한다.
• 실제 세계 및 합성 데이터를 사용하여 이미지 분류 및 의미 분할 작업 모두에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 하류 의미 분할 작업에 의해 지도되는 사이클GAN 기반의 이미지 간 변환 방법이 도메인 간 차이를 줄이는데 효과적으로 작용할 수 있는가?
• RQ2 실제 세계 레이블이 소수인 이미지만으로 mIoU와 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 모든 구성 요소를 처음부터 학습하는 것이 이미지넷 사전학습 백본을 사용하는 것보다 덜 편향된 도메인 갭 분석을 제공하는가?
• RQ4 작업 인식 기반 변환이 복잡한 도메인 적응 과제에서 표준 사이클GAN 및 처음부터 학습한 방법보다 우수한 성능을 낼 수 있는가?
• RQ5 일반화 성능 향상을 위해 추상적 표현(예: 스케치, 시뮬레이션)을 중간 도메인으로 사용하는 데에 이점이 있는가?

주요 결과

• 제안된 방법은 훈련 중에 오직 14장의 실제 세계 레이블이 부여된 이미지만을 사용하여 Cityscapes 데이터셋에서 평균 교차율(mIoU)을 4~7%p 향상시켰다.
• 분류 과제에서는 오직 70장(10%)의 실제 세계 레이블이 부여된 이미지만을 사용하여 표준 사이클GAN보다 정확도를 7%p 향상시켰다.
• 비변환된 실제 이미지에서의 mIoU가 9%에 불과한 것으로 나타나 도메인 간 차이가 크게 줄어들었으며, 제안된 적응 방법을 통해 40% 이상으로 증가하였다.
• 생성자 및 분류 네트워크 모두를 처음부터 학습한 네트워크를 사용함으로써 더 덜 편향된 도메인 갭 분석이 가능했으며, 이미지넷 사전학습이 갭 평가에 왜곡을 초래할 수 있음을 확인하였다.
• 단계 b)에서의 더 긴 비지도 사전 학습은 성능 향상에 크게 기여하지 않았으며, 효과적인 초기화를 위해 중간 수준의 학습으로도 충분함을 시사한다.
• 소수의 실제 세계 지도 정보만으로도 복잡한 과제, 특히 의미 분할 과제에서 강력한 일반화 성능을 보였다.