[논문 리뷰] Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks

Konstantinos Bousmalis, Nathan Silberman외 3명|arXiv (Cornell University)|2016. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 72

한 줄 요약

이 논문은 쌍체 데이터가 필요 없이 합성 소스 도메인 이미지를 픽셀 수준에서 실제 타겟 도메인 이미지처럼 보이게 변환하는 GAN 기반 비지도 도메인 적응 방법인 PixelDA를 제안한다. 이는 객체 분류 및 자세 추정 작업에서 최신 기술을 초월하는 성능을 달성하며, 도전적인 환경에서 자세 추정 오차를 50% 이상 감소시키고, 예측되지 않은 객체 클래스에 대해서도 안정적이고 일반화 가능한 적응을 가능하게 한다.

ABSTRACT

Collecting well-annotated image datasets to train modern machine learning algorithms is prohibitively expensive for many tasks. One appealing alternative is rendering synthetic data where ground-truth annotations are generated automatically. Unfortunately, models trained purely on rendered images often fail to generalize to real images. To address this shortcoming, prior work introduced unsupervised domain adaptation algorithms that attempt to map representations between the two domains or learn to extract features that are domain-invariant. In this work, we present a new approach that learns, in an unsupervised manner, a transformation in the pixel space from one domain to the other. Our generative adversarial network (GAN)-based method adapts source-domain images to appear as if drawn from the target domain. Our approach not only produces plausible samples, but also outperforms the state-of-the-art on a number of unsupervised domain adaptation scenarios by large margins. Finally, we demonstrate that the adaptation process generalizes to object classes unseen during training.

연구 동기 및 목표

• 합성 데이터로 훈련된 모델이 실제 이미지로의 일반화에 실패하는 도메인 시프트 문제를 해결하기 위해.
• 라벨이 부여된 타겟 데이터나 쌍체 소스-타겟 이미지가 필요 없는 비지도 픽셀 수준 도메인 적응 방법을 개발하기 위해.
• 작업별 모델에서 도메인 적응을 분리하여 더 큰 유연성과 재사용 가능성을 확보하기 위해.
• 작업별 손실 및 콘텐츠 유사성 손실을 통해 적응 기반 학습의 안정성과 일반화 능력을 향상시키기 위해.
• 학습 중에 볼 수 없었던 객체 클래스에 대해 제로샷 일반화를 가능하게 하기 위해.

제안 방법

• 조건부 GAN을 사용하여 유일하게 쌍체가 없는 데이터만을 이용해 소스 도메인(예: 합성) 이미지를 타겟 도메인(예: 실제) 이미지로 매핑하도록 훈련한다.
• 생성자는 도메인 구분자에 대한 적대적 손실을 최소화하면서, 특징 재구성 기반의 콘텐츠 유사성 손실을 통해 콘텐츠를 유지한다.
• 실제 소스 이미지와 생성된 타겟 유사 이미지 양쪽에서 작업별 분류기를 함께 훈련시켜 학습 안정성 향상과 성능 향상을 도모한다.
• 콘텐츠 유사성 손실은 생성된 이미지가 입력 소스 이미지의 의미적 콘텐츠를 유지하도록 보장하여 모드 붕괴를 방지한다.
• 적대적 손실, 작업별 분류 손실, 콘텐츠 재구성 손실의 조합을 사용해 종합적으로 엔드 투 엔드로 모델을 훈련한다.
• 적응 과정을 작업별 분류기에서 분리함으로써, 다양한 후속 작업에 대해 도메인 어댑터를 재사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 쌍체 소스-타겟 이미지 쌍이 없는 조건에서 GAN 기반 모델이 비지도 픽셀 수준 도메인 적응을 효과적으로 수행할 수 있는가?
• RQ2 제안된 방법이 기존 최신 기술 대비 분류 및 자세 추정과 같은 후속 작업에서 성능 향상을 이끌 수 있는가?
• RQ3 학습 중에 볼 수 없었던 객체 클래스에 대해 모델이 일반화될 수 있는가, 즉 제로샷 적응 능력을 보일 수 있는가?
• RQ4 작업별 손실 및 콘텐츠 유사성 손실의 포함 여부가 학습 안정성과 성능 변동성에 어떤 영향을 미치는가?
• RQ5 소수의 레이블이 부여된 타겟 샘플이 있는 반지도 학습 환경에서도 모델이 효과적으로 활용될 수 있는가?

주요 결과

• PixelDA는 'Synthetic Cropped Linemod to Cropped Linemod' 벤치마크에서 분류 정확도 99.93%와 평균 각도 오차 13.31°를 달성하여 이전 기법들보다 크게 뛰어나다.
• 도전적인 'Synthetic Cropped Linemod to Cropped Linemod' 설정에서, 이전 최신 기술 대비 자세 추정 오차를 50% 이상 감소시켰다.
• 학습 중에 볼 수 없었던 객체 클래스에 대해 일반화가 가능하여, 이전에 본 5개의 Linemod 객체에서 98.98%의 분류 정확도를 기록하며 제로샷 전이 능력을 입증했다.
• 작업별 및 콘텐츠 유사성 손실의 포함으로 랜덤 초기화에 따른 성능 표준편차가 분류 정확도 기준 23.26%에서 1.60%로 감소하여 학습 안정성이 크게 향상되었다.
• 레이블이 부여된 타겟 샘플이 1,000개 뿐인 반지도 학습 환경에서도 PixelDA는 99.93%의 정확도와 13.31°의 평균 각도 오차를 기록했으며, 합성 데이터와 타겟 레이블을 모두 사용한 기준 모델를 초월했다.
• 모델이 생성한 적응 이미지는 실제 RGBD 샘플과의 정성적 비교에서 시각적으로 타당하며 실제 타겟 도메인 이미지와 유사하게 나타났다.