[논문 리뷰] Learning from Simulated and Unsupervised Images through Adversarial Training

Ashish Shrivastava, Tomas Pfister외 4명|arXiv (Cornell University)|2016. 12. 22.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 SimGAN이라는 GAN 기반 방법을 통해 합성 이미지를 보다 현실적으로 개선하면서도 애너테이션을 유지하는 Simulated+Unsupervised (S+U) 학습을 제안한다. 비정규화된 진짜 데이터를 사용하여 합성 이미지를 개선함으로써, 레이블이 없는 진짜 데이터 없이도 현실감 있는 이미지를 얻을 수 있으며, 시각적 품질을 향상시키면서도 눈동자 방향 및 손 자세 추정 성능을 향상시킨다. 국소적 적대적 손실, 자기 정규화, 이력 기반 디스criminator 업데이트를 통합함으로써, 레이블이 없는 진짜 데이터 없이도 최신 기술 성능을 달성한다.

ABSTRACT

With recent progress in graphics, it has become more tractable to train models on synthetic images, potentially avoiding the need for expensive annotations. However, learning from synthetic images may not achieve the desired performance due to a gap between synthetic and real image distributions. To reduce this gap, we propose Simulated+Unsupervised (S+U) learning, where the task is to learn a model to improve the realism of a simulator's output using unlabeled real data, while preserving the annotation information from the simulator. We develop a method for S+U learning that uses an adversarial network similar to Generative Adversarial Networks (GANs), but with synthetic images as inputs instead of random vectors. We make several key modifications to the standard GAN algorithm to preserve annotations, avoid artifacts, and stabilize training: (i) a 'self-regularization' term, (ii) a local adversarial loss, and (iii) updating the discriminator using a history of refined images. We show that this enables generation of highly realistic images, which we demonstrate both qualitatively and with a user study. We quantitatively evaluate the generated images by training models for gaze estimation and hand pose estimation. We show a significant improvement over using synthetic images, and achieve state-of-the-art results on the MPIIGaze dataset without any labeled real data.

연구 동기 및 목표

• 모델의 일반화를 방해하는 합성 이미지 분포와 진짜 이미지 분포 사이의 도메인 갭을 해결하기 위해.
• 진짜 이미지에 대한 비용이 많이 드는 인간 애너테이션을 요구하지 않고도 합성 데이터 기반의 강력한 딥 러닝 모델을 훈련시키기 위해.
• 이미지 개선 과정에서 의미적 애너테이션(예: 눈동자 방향, 관절점 위치)을 유지하기 위해.
• 이미지 개선을 위한 하류 작업에서 아티팩트를 방지하고 GAN 훈련을 안정화시키기 위해.

제안 방법

• 합성 이미지를 더 현실적으로 만드는 리파이너 네트워크를 적대적 훈련을 통해 훈련한다.
• 전역 이미지 수준의 손실보다 작은 이미지 패치에 국소적 적대적 손실을 적용하여 현실감을 향상시키고 아티팩트를 감소시킨다.
• 원본 합성 이미지와 개선된 이미지 간의 큰 픽셀 단위 차이를 페널티로 주어 애너테이션을 유지한다.
• 이전 훈련 단계에서 생성된 개선된 이미지의 이동 평균을 사용하여 디스criminator를 업데이트함으로써 훈련 안정성과 모드 붕괴 방지를 도모한다.
• 수정된 GAN 목표 함수를 사용하여 리파이너와 디스criminator 네트워크를 번갈아가며 훈련한다.
• 전체 컨볼루션 아키텍처를 사용하여 공간적 구조를 유지하고 전역 왜곡을 방지한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 합성 이미지의 현실감을 향상시키면서도 의미적 애너테이션을 유지하는 데 효과적인가?
• RQ2 이미지 개선 과정에서 아티팩트를 줄이기 위해 국소적 적대적 손실이 전역적 손실보다 더 우수한가?
• RQ3 디스criminator 업데이트 중에 개선된 이미지의 이력을 유지하면 훈련 안정성과 이미지 품질이 향상되는가?
• RQ4 애너테이션된 진짜 데이터 없이도 개선된 합성 데이터로 훈련된 모델이 진짜 데이터로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ5 제안된 방법이 눈동자 추정 및 손 자세 추정과 같은 하류 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 개선된 합성 데이터로 훈련했을 때, NYU 테스트 세트에서 손 자세 추정의 5픽셀 이내 정확도가 72.4%에 도달했으며, 이는 진짜 데이터 훈련(74.5%)과 합성 데이터 훈련(69.7%)을 모두 초월한다.
• 합성 데이터를 3배 더 많이 사용했을 때, 개선된 합성 데이터로는 5픽셀 이내 정확도가 83.3%에 도달하여 진짜 데이터 훈련보다 뚜렷하게 뛰어나다.
• 디스criminator 업데이트 중에 개선된 이미지의 이력을 사용할 경우, 눈동자 추정 오차가 이력 없이 사용했을 때 12.2도에서 이력 사용 시 7.8도로 감소했다.
• 사용자 연구와 정성 평가를 통해 개선된 이미지가 원본 합성 이미지보다 훨씬 현실감 있게 인식됨을 확인했다.
• 국소적 적대적 손실은 전역 적대적 손실을 사용할 경우 발생하던 깊이 경계 아티팩트를 효과적으로 제거했다.
• 애너테이션된 진짜 데이터 없이도 MPIIGaze 데이터셋에서 최신 기술 성능을 달성하여 S+U 학습의 효과성을 입증했다.