[논문 리뷰] Content and Colour Distillation for Learning Image Translations with the Spatial Profile Loss

M. Saquib Sarfraz, Constantin Seibold외 2명|arXiv (Cornell University)|2019. 08. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 생성자나 인식 네트워크 없이도 효과적인 이미지 번역을 가능하게 하기 위해 소스 이미지에서 타겟 이미지로 콘텐츠 및 색상 정보를 직접 풍미 추출하는 새로운 공간 프로파일 손실을 제안한다. 이 방법은 종단 간 최적화를 통해 형태/콘텐츠 및 스타일/색상 분포를 학습함으로써 이미지 간 번역, 초해상도 및 메이크업 이동에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generative adversarial networks has emerged as a defacto standard for image translation problems. To successfully drive such models, one has to rely on additional networks e.g., discriminators and/or perceptual networks. Training these networks with pixel based losses alone are generally not sufficient to learn the target distribution. In this paper, we propose a novel method of computing the loss directly between the source and target images that enable proper distillation of shape/content and colour/style. We show that this is useful in typical image-to-image translations allowing us to successfully drive the generator without relying on additional networks. We demonstrate this on many difficult image translation problems such as image-to-image domain mapping, single image super-resolution and photo realistic makeup transfer. Our extensive evaluation shows the effectiveness of the proposed formulation and its ability to synthesize realistic images. [Code release: this https URL]

연구 동기 및 목표

• 이미지 번역 작업에서 판별자나 인식 네트워크와 같은 보조 네트워크에 의존하는 것을 제거하기 위해.
• 소스 이미지에서 타겟 이미지로 콘텐츠 및 색상 분포를 직접 풍미 추출하여 생성된 이미지의 품질과 현실감을 향상시키기 위해.
• 픽셀 기반 손실에 공간 프로파일 정규화를 추가하여 유일한 재구성 손실만으로도 효과적인 이미지 번역 생성자 훈련을 가능하게 하기 위해.
• 표준 픽셀 기반 손실이 고수준의 의미적 특성 및 스타일 특성을 포착하는 데 한계가 있음을 해결하기 위해.
• 다양하고 도전적인 이미지 번역 벤치마크에서 본 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 콘텐츠 및 색상의 공간 분포를 기반으로 소스 이미지와 타겟 이미지 간 유사도를 계산하는 공간 프로파일 손실을 도입한다.
• 콘텐츠와 색상은 이미지 간의 구조적 레이아웃과 색채 특성을 유지하는 공동 표현을 학습함으로써 풍미 추출된다.
• 손실 함수는 실제 소스 이미지와 생성된 타겟 이미지의 공간 프로파일 간의 차이를 최소화하도록 설계된다.
• 이 방법은 생성자의 출력에 직접 작용하므로 추가 네트워크 없이 종단 간 훈련이 가능하다.
• 공간 프로파일 손실은 표준 백프로파게이션을 사용하여 최적화되며, 기존 GAN 프레임워크와 호환된다.
• 이 방법은 적대적 또는 인식 감독 없이도 유일한 재구성 손실만으로도 훈련이 가능하게 한다.

실험 결과

연구 질문

• RQ1 판별자나 인식 네트워크 없이도 이미지 번역을 효과적으로 훈련시킬 수 있는가?
• RQ2 표준 손실과 비교해 공간 프로파일 손실이 콘텐츠 및 색상 분포를 얼마나 잘 포착하고 전달하는가?
• RQ3 제안된 방법이 초해상도 및 메이크업 이동과 같은 다양한 이미지 번역 작업에 일반화되는가?
• RQ4 공간적 콘텐츠 및 색상 특징을 풍미 추출하는 것이 이미지의 현실감과 정확도에 어떤 영향을 미치는가?
• RQ5 더 단순한 훈련 동역학과 감소된 아키텍처 복잡도로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 판별자나 인식 네트워크를 사용하지 않아도 이미지 간 번역에서 최신 기술 수준의 성능을 달성한다.
• 공간 프로파일 손실은 단일 이미지 초해상도에서 고해상도 이미지 합성을 가능하게 하여 더 선명한 질감과 더 자연스러운 세부 사항을 생성한다.
• 실사적인 메이크업 이동에서는 얼굴 정체성을 유지하면서도 미세한 색상 및 형태 변화를 성공적으로 전달한다.
• 이 방법은 에지-이미지, 색상화, 도메인 적응 작업 등 다양한 도메인에 걸쳐 강력한 일반화 성능을 보여준다.
• 정량적 평가에서 표준 손실을 사용하는 기준 방법 대비 FID 및 LPIPS 지표에서 뚜렷한 향상을 보였다.
• 더 단순한 훈련, 감소된 계산 비용, 적은 하이퍼파rameter를 통해 경쟁 가능한 성능를 달성했다.