[논문 리뷰] Unsupervised Domain Adaptation for Semantic Segmentation with GANs.

Swami Sankaranarayanan, Yogesh Balaji외 3명|arXiv (Cornell University)|2017. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 46

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 기반의 비지도 학습 도메인 적응 방법을 제안하며, 합성 이미지 도메인과 실사 이미지 도메인 간의 특징 임베딩을 적대적 훈련을 통해 정렬한다. 이는 두 개의 합성-실사 적응 벤치마크에서 최신 기술 수준의 성능을 달성하며, 예측되지 않은 도메인으로의 일반화 능력을 보이며, 소스 도메인과 타겟 도메인 간의 분포 정렬을 향상시킨다.

ABSTRACT

Visual Domain Adaptation is a problem of immense importance in computer vision. Previous approaches showcase the inability of even deep neural networks to learn informative representations across domain shift. This problem is more severe for tasks where acquiring hand labeled data is extremely hard and tedious. In this work, we focus on adapting the representations learned by segmentation networks across synthetic and real domains. Contrary to previous approaches that use a simple adversarial objective or superpixel information to aid the process, we propose an approach based on Generative Adversarial Networks (GANs) that brings the embeddings closer in the learned feature space. To showcase the generality and scalability of our approach, we show that we can achieve state of the art results on two challenging scenarios of synthetic to real domain adaptation. Additional exploratory experiments show that our approach: (1) generalizes to unseen domains and (2) results in improved alignment of source and target distributions.

연구 동기 및 목표

• 라벨이 부여된 실세계 데이터가 부족한 상황에서 도메인 간 이동 문제를 해결하기 위해.
• 비지도 학습 도메인 적응을 통해 합성 이미지 도메인과 실사 이미지 도메인 간의 표현 학습을 향상시키기 위해.
• 실세계 데이터 수집 시 수동 애너테이션에 대한 의존도를 줄이기 위해 확장 가능하고 일반화 능력이 뛰어난 방법을 개발하기 위해.
• 적대적 훈련을 통해 소스(합성) 도메인과 타겟(실사) 도메인 간의 특징 공간 정렬을 향상시키기 위해.
• 학습 중에 볼 수 없었던 도메인으로의 일반화 능력과 표준 벤치마크를 초월한 분포 정렬 향상 정도를 평가하기 위해.

제안 방법

• 소스(합성) 도메인과 타겟(실사) 도메인의 특징 임베딩을 잠재 공간에서 정렬하기 위해 생성적 적대적 네트워크(GAN) 프레임워크를 사용한다.
• 판별자는 소스 도메인과 타겟 도메인의 특징를 구분하도록 유도하는 적대적 손실을 적용하며, 생성자는 이 구분을 최소화하도록 최적화한다.
• 원시 이미지가 아닌 세분화 네트워크의 임베딩 공간에서 작동하는 특징 수준의 적대적 목표를 도입한다.
• 적대적 적응과 함께 세분화 네트워크를 엔드 투 엔드로 훈련시켜 도메인에 영향을 받지 않는 표현을 가능하게 한다.
• GAN이 복잡한 데이터 분포를 모델링할 수 있는 능력을 활용하여, 슈퍼픽셀나 수작업으로 만든 특징이 필요 없이 정렬을 향상시킨다.
• 추가적인 피팅 트레이닝이나 도메인 전용 적응 모듈 없이 훈련 중에 도메인 적응을 적용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근 방식이 합성에서 실사 도메인으로의 비지도 학습 도메인 적응에서 세분화 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 훈련 중에 볼 수 없었던 타겟 도메인으로 일반화되는가?
• RQ3 기존 방법들과 비교해 볼 때, 소스 도메인과 타겟 도메인의 특징 분포 정렬 정도는 어느 정도인가?
• RQ4 적대적 특징 정렬이 세분화 작업에서 도메인 간 이동을 어느 정도 줄이는가?
• RQ5 슈퍼픽셀나 보조 감독 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 두 개의 도전적인 합성-실사 세분화 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 학습 도메인 이동 외부의 새로운 도메인으로도 효과적으로 일반화되며, 훈련 도메인 이동에 대한 강건성을 보여준다.
• 소스 도메인과 타겟 도메인의 특징 임베딩이 잠재 공간에서 상당히 정렬되어 도메인 간 괴리가 감소한다.
• 소스 도메인과 타겟 도메인 간의 분포 정렬이 향상되어 특징 공간 일관성 향상으로 측정된다.
• 간단한 적대적 목표나 슈퍼픽셀 기반 안내에 의존하는 기존 방법들을 능가한다.
• 결과적으로 GAN 기반 특징 수준의 적응이 더 강건하고 일반화 능력이 뛰어난 세분화 모델을 도출함을 보여준다.