[논문 리뷰] GANosaic: Mosaic Creation with Generative Texture Manifolds

Nikolay Jetchev, Urs Bergmann외 1명|arXiv (Cornell University)|2017. 12. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 7

한 줄 요약

GANosaic는 고해상도, 균일한 모자이크를 생성하기 위해 주기적 공간 GAN(PSGAN)의 잠재 노이즈 공간을 최적화하는 새로운 방법을 제안한다. 내용 이미지와 일치하는 텍스처를 합성하기 위해 인지적 내용 손실과 국소 노이즈 채널에 대한 미분 가능한 통계적 정규화를 조합한다. 이로 인해 눈에 띄는 타일 경계 없이 미묘하게 변형되는 아름다운 모자이크를 생성하며, 선형 런타임 스케일링을 통해 대규모이고 메모리 효율적인 이미지 생성을 가능하게 한다.

ABSTRACT

This paper presents a novel framework for generating texture mosaics with convolutional neural networks. Our method is called GANosaic and performs optimization in the latent noise space of a generative texture model, which allows the transformation of a content image into a mosaic exhibiting the visual properties of the underlying texture manifold. To represent that manifold, we use a state-of-the-art generative adversarial method for texture synthesis, which can learn expressive texture representations from data and produce mosaic images with very high resolution. This fully convolutional model generates smooth (without any visible borders) mosaic images which morph and blend different textures locally. In addition, we develop a new type of differentiable statistical regularization appropriate for optimization over the prior noise space of the PSGAN model.

연구 동기 및 목표

• 다양한 텍스처를 자연스럽게 융합하여 눈에 띄는 타일 경계 없이 고해상도 모자이크를 생성하는 것.
• 다수의 예시 이미지에서 학습된 다양한 텍스처의 다양체에서 새로운 변형 텍스처를 생성하는 것.
• 최적화된 노이즈가 PSGAN의 사전 분포에 가까워지도록 보장하는, 다양한 정규화 방법을 개발하는 것.
• 선형 런타임 복잡도를 확보하여 효율적이고 확장 가능한 모자이크 생성을 달성하는 것.
• 기존의 스타일 전이 및 패치 기반 방법의 한계를 극복하기 위해 픽셀 공간이 아닌 잠재 공간을 최적화하는 것.

제안 방법

• 다양한 예시 이미지에서 풍부한 다중 텍스처 다양체를 모델링하기 위해 사전 학습된 주기적 공간 GAN(PSGAN)을 텍스처 사전으로 사용한다.
• VGG 특징을 사용하는 인지적 내용 손실과 잠재 텐서 Z의 국소 노이즈 채널에 대한 새로운 미분 가능한 텍스처 정규화를 조합한 손실 함수를 제안한다.
• 최적화는 픽셀 공간이 아닌 잠재 노이즈 텐서 Z에 대해 수행되며, 이는 고해상도 이미지 생성을 효율적으로 가능하게 한다.
• 텍스처 정규화는 Z 내 국소 채널 간의 통계적 독립성을 강제하여 다양체의 구조를 유지하고 열악한 텍스처를 방지한다.
• 생성자 G는 공간적으로 분할된 Z-텐서에 적용되어 병렬 계산과 매우 큰 이미지의 메모리 효율적 처리를 가능하게 한다.
• 내용 손실은 콘텐츠 이미지를 압축하기 위해 특징 매핑 φ(예: 풀링 레이어)를 사용하여 저주파 수준의 콘텐츠와 고주파 수준의 텍스처 세부 정보를 분리한다.

실험 결과

연구 질문

• RQ1 GAN 기반 텍스처 모델의 잠재 공간에서의 최적화가 자연스럽게 텍스처 간 변형이 일어나며 눈에 띄는 타일 경계 없이 고해상도 모자이크를 생성할 수 있는가?
• RQ2 잠재 노이즈 공간에 대한 다양한 정규화가 최적화 과정에서 텍스처 다양체 품질을 어떻게 유지하는가?
• RQ3 특징 압축을 통한 인지적 손실을 사용할 경우 모자이크 품질 향상과 주파수 분리에 얼마나 기여하는가?
• RQ4 메모리 제약 없이도 임의의 큰 이미지 해상도로 확장 가능한가?
• RQ5 내용을 재구성하면서 텍스처 표현을 유지하는 데서 GANosaic가 신경 스타일 전이보다 얼마나 우수한가?

주요 결과

• GANosaic는 눈에 띄는 타일 경계 없이 고해상도 모자이크를 생성하며, 부드러운 텍스처 융합을 통해 높은 시각적 품질을 달성한다.
• 스페이셜하게 분해 가능한 잠재 노이즈 텐서 최적화 덕분에 저장소 제약 외에는 임의의 큰 출력 해상도를 지원한다.
• 미분 가능한 텍스처 정규화는 최적화된 노이즈가 사전 분포에 가까이 유지되도록 하여 열악하거나 비현실적인 텍스처를 방지한다.
• φ를 통한 압축된 인지적 손실 사용은 고주파 콘텐츠를 텍스처 다양체에서 재구성할 수 있도록 하여 모자이크 품질을 향상시킨다.
• 특히 얼굴 영역에서 스타일 전이가 흔히 텍스처를 적용하지 못하고 직접 콘텐츠 픽셀을 모방하는 데 비해, 이 방법은 텍스처 표현에서 뛰어난 성능을 보인다.
• 최적화 과정에서 공간적 영역마다 다른 Z 값으로 수렴하므로, 콘텐츠 구조에 적응하는 국소적 텍스처 변형이 가능해 자연스러운 모자이크 효과를 낳는다.