[논문 리뷰] Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation

Swami Sankaranarayanan, Yogesh Balaji외 3명|arXiv (Cornell University)|2017. 11. 19.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 합성 이미지 도메인과 실제 이미지 도메인 간의 특징 임bedding을 정렬함으로써 의미 분할에서 도메인 시프트를 줄이기 위한 GAN 기반 접근법을 제안한다. 잠재 공간 내 분포 차이를 최소화하기 위해 적대적 훈련을 활용함으로써, 이 방법은 합성에서 실제 도메인으로의 적응 벤치마크에서 최신 기술 수준의 성능을 달성하며, 예측되지 않은 도메인으로 일반화되며, 소스-타겟 분포 정렬이 향상된다.

ABSTRACT

Visual Domain Adaptation is a problem of immense importance in computer vision. Previous approaches showcase the inability of even deep neural networks to learn informative representations across domain shift. This problem is more severe for tasks where acquiring hand labeled data is extremely hard and tedious. In this work, we focus on adapting the representations learned by segmentation networks across synthetic and real domains. Contrary to previous approaches that use a simple adversarial objective or superpixel information to aid the process, we propose an approach based on Generative Adversarial Networks (GANs) that brings the embeddings closer in the learned feature space. To showcase the generality and scalability of our approach, we show that we can achieve state of the art results on two challenging scenarios of synthetic to real domain adaptation. Additional exploratory experiments show that our approach: (1) generalizes to unseen domains and (2) results in improved alignment of source and target distributions.

연구 동기 및 목표

• 합성 데이터에서 실제 세계 데이터로의 전이 시 의미 분할에서 도메인 시프트 문제를 해결하기 위해.
• 간단한 적대적 손실 또는 슈퍼픽셀 기반 감독에 의존하는 이전 방법의 한계를 극복하기 위해.
• GAN을 활용해 도메인 간 특징 임베딩을 정렬함으로써 확장 가능하고 일반화 가능한 도메인 적응 방법을 개발하기 위해.
• 학습된 특징 공간에서 소스(합성) 및 타겟(실제) 데이터 분포 간 정렬을 향상시키기 위해.

제안 방법

• 소스 도메인 특징에서 타겟 도메인 이미지를 생성하기 위해 조건부 GAN 프레임워크를 사용한다.
• 판별자가 실제 및 생성된 특징을 구분하도록 유도하기 위해 적대적 훈련을 적용함으로써, 임베딩이 공통 분포 쪽으로 이동하도록 유도한다.
• 잠재 공간에서 합성 및 실제 이미지의 특징 표현을 정렬하는 특징 수준의 적대적 손실을 도입한다.
• 세분화 네트워크를 GAN 생성자 및 판별자와 함께 엔드 투 엔드로 훈련시켜 도메인에 불민한 표현을 향상시킨다.
• 생성자를 활용해 타겟 유사 특징을 합성함으로써, 세분화 모델이 도메인 간으로 일반화될 수 있도록 한다.
• 다중 척도 특징 매칭 전략을 사용하여 특징 계층의 다양한 수준에서 세밀한 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 슈퍼픽셀 감독이나 단순한 적대적 손실에 의존하지 않고도 GAN 기반 접근법이 의미 분할에서 도메인 시프트를 효과적으로 줄일 수 있는가?
• RQ2 제안된 방법은 훈련 중에 볼 수 없었던 새로운 타겟 도메인으로 일반화되는가?
• RQ3 이 방법이 소스 및 타겟 도메인 특징 분포 간 정렬을 어느 정도 향상시키는가?
• RQ4 합성에서 실제 도메인으로의 의미 분할 벤치마크에서 제안된 방법은 최신 기술 수준의 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 의미 분할을 위한 두 개의 도전적인 합성-실제 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 훈련 중에 사용되지 않은 도메인으로 일반화되어, 훈련에 사용된 특정 타겟 도메인을 초월한 강건성을 보여준다.
• 분포 간 발산 감소를 측정함으로써, 특징 공간에서 소스 및 타겟 도메인 분포 간 정렬이 향상됨을 확인할 수 있다.
• 탐색적 실험 결과, 기준 방법 대비 더 이식 가능하고 도메인 불변 특징을 학습하는 것으로 확인되었다.