[논문 리뷰] From A to Z: Supervised Transfer of Style and Content Using Deep Neural Network Generators

Paul Upchurch, Noah Snavely외 1명|arXiv (Cornell University)|2016. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 31

한 줄 요약

이 논문은 단일 입력 이미지에서 스타일화된 이미지 유사성을 생성하기 위해 적대적 훈련과 구조적 유사성 최적화를 통한 지도 학습 변동형 오토인코더를 제안한다. 잠재 분포 외삽을 통해 스타일과 콘텐츠 요소를 분리 학습함으로써, 62개 클래스의 폰트 생성 작업에서 최신 기술 대비 기준값과의 이질성에서 22.4% 낮은 성능을 달성한다.

ABSTRACT

We propose a new neural network architecture for solving single-image analogies - the generation of an entire set of stylistically similar images from just a single input image. Solving this problem requires separating image style from content. Our network is a modified variational autoencoder (VAE) that supports supervised training of single-image analogies and in-network evaluation of outputs with a structured similarity objective that captures pixel covariances. On the challenging task of generating a 62-letter font from a single example letter we produce images with 22.4% lower dissimilarity to the ground truth than state-of-the-art.

연구 동기 및 목표

• 단일 이미지만 제공되는 단일 이미지 유사성 문제에 대응하여, 다양한 콘텐츠를 가진 스타일 일관성이 유지되는 이미지 전체 세트를 생성한다.
• 이전의 비지도 학습 또는 최적화되지 않은 방법들이 스타일을 명시적으로 유지하거나 유사성 품질을 평가하지 못하는 한계를 극복한다.
• 이미지 품질과 구조적 유사성에 대한 직접 최적화를 지원하는 방법을 개발하여 다양한 콘텐츠 클래스 간 고해상도 스타일 전이를 가능하게 한다.
• 문자와 숫자 62개 클래스로 구성된 1,839종의 폰트를 포함하는 대규모이고 도전적인 데이터셋을 바탕으로 본 방법의 성능을 입증한다.
• 스タイル-콘텐츠 표현의 분리 학습을 통해 폰트 외의 분야, 예를 들어 얼굴 표정, 필터, 텍스처 전이 등으로의 일반화를 가능하게 한다.

제안 방법

• 스타일과 콘텐츠의 분리 표현을 모델링하기 위해 잠재 분포 외삽 레이어를 통합한 수정된 변동형 오토인코더(VAE)를 제안한다.
• 두 개의 적대적 네트워크를 도입한다: 잠재 공간에서 클래스 불변성을 강제하기 위한 클래스 식별자와 이미지의 현실감을 향상시키기 위한 가짜 식별자.
• 픽셀 수준의 공분산을 캡처하는 구조적 유사성(SSIM) 목적함수를 최적화하여 시각적 품질을 향상시킨다.
• 스타일은 일관되나 콘텐츠는 다양성이 있는 이미지 집합인 지도 학습 스타일 세트를 사용하여 스타일 전이에 대한 직접 최적화를 가능하게 한다.
• 잠재 공간을 정규화하기 위해 사전 손실을 사용하지만, 모델은 사전 일치보다 테스트 세트 성능을 우선시한다.
• 재구성 손실, 적대적 손실, SSIM 기반 시각적 손실을 조합한 다중 손실 목적함수를 적용하여 이미지 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크 아키텍처가 스타일과 콘텐츠를 분리함으로써 단일 입력 이미지에서 고품질의 이미지 유사성을 생성할 수 있는가?
• RQ2 일관된 스타일 세트로 구성된 그룹에 대해 지도 학습을 수행할 경우, 비지도 또는 자기지도 학습 방법에 비해 생성된 유사성의 정밀도와 일관성이 향상되는가?
• RQ3 구조적 유사성(SSIM) 최적화가 표준 재구성 손실에 비해 시각적 품질을 얼마나 향상시키는가?
• RQ4 특히 클래스 식별자와 가짜 식별자를 사용한 적대적 훈련은 스타일과 콘텐츠 요소의 분리 표현 및 일반화에 어떤 영향을 미치는가?
• RQ5 입력 이미지 선택에 따라 성능이 얼마나 민감하게 영향을 받는가? 그리고 입력 선택 전략을 활용해 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 62개 클래스 폰트 생성 벤치마크에서 최신 기술 대비 기준값과의 이질성에서 22.4% 낮은 성능을 달성한다.
• 클래스 식별자와 가짜 식별자를 모두 추가함으로써 비적대적 베이스라인 대비 테스트 세트에서 이질성이 2.75% 감소한다.
• 가장 우수한 성능을 보인 모델(Ours-Adv)은 사전 손실 일치 조건을 충족할 때 M2 대비 이질성이 12.8% 낮게 나타나 일반화 능력 향상을 입증한다.
• 입력 이미지 선택은 성능에 상당한 영향을 미친다: 최악의 입력(‘f’)은 검증 세트에서 최고의 입력(‘H’)보다 이질성이 12.4% 높게 나타났다.
• 시각적 비교 결과, 이전 작업 대비 기울어진 선이나 블랙렛 스타일 세부 정보 같은 스타일 특징을 더 잘 유지하는 것으로 확인되었다.
• 다시 말해, 일부 경우에 고도로 스타일리시하거나 얇은 선 스타일의 폰트에서는 여전히 뿌연 이미지나 왜곡된 기호를 생성하는 문제가 존재한다.