[논문 리뷰] Texture Synthesis with Spatial Generative Adversarial Networks

Nikolay Jetchev, Urs Bergmann외 1명|arXiv (Cornell University)|2016. 11. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 108

한 줄 요약

논문은 Spatial GAN (SGAN)을 소개한다. 공간 잡음 텐서를 대형 질감 이미지로 매핑하는 완전 합성곱 GAN으로, 완전히 연결된 층 없이 고품질의 확장 가능하고 실시간 질감 합성을 가능하게 한다.

ABSTRACT

Generative adversarial networks (GANs) are a recent approach to train generative models of data, which have been shown to work particularly well on image data. In the current paper we introduce a new model for texture synthesis based on GAN learning. By extending the input noise distribution space from a single vector to a whole spatial tensor, we create an architecture with properties well suited to the task of texture synthesis, which we call spatial GAN (SGAN). To our knowledge, this is the first successful completely data-driven texture synthesis method based on GANs. Our method has the following features which make it a state of the art algorithm for texture synthesis: high image quality of the generated textures, very high scalability w.r.t. the output texture size, fast real-time forward generation, the ability to fuse multiple diverse source images in complex textures. To illustrate these capabilities we present multiple experiments with different classes of texture images and use cases. We also discuss some limitations of our method with respect to the types of texture images it can synthesize, and compare it to other neural techniques for texture generation.

연구 동기 및 목표

• 대규모 고품질 질감을 위한 기존 질감 합성 방법의 한계를 동기 부여하고 해결한다.
• 공간 잡음 텐서를 받아 임의의 크기의 질감을 생성하는 완전 합성곱 GAN 아키텍처를 제안한다.
• SGAN의 다중 소스 이미지 융합 능력과 매끄러운 질감의 생성을 시연한다.
• 다양한 질감 유형과 크기에 대한 생성 속도와 품질을 평가한다.
• SGAN의 한계와 더 넓은 질감 관련 작업을 위한 확장 가능성을 논의한다.

제안 방법

• DCGAN을 공간적으로 구조화된 생성기 G로 확장하여 Z ∈ R^{l x m x d}를 X ∈ R^{h x w x 3}로 매핑한다.
• 판별기 D는 공간 위치에 걸쳐 가짜/진짜 확률의 2D 필드를 출력하여 모든 패치를 동시에 학습할 수 있게 한다.
• G와 D를 모든 공간 위치에서 평균화된 V(D,G)라는 공동 목적 함수를 사용하여 학습하며, G=D(G(Z)) 트릭으로 표준 GAN 손실을 적용한다.
• 임의의 출력 크기를 가능하게 하려면 완전 연결층이 없는 완전 합성곱 아키텍처를 강제한다.
• 학습 안정성을 위해 필요한 경우 패치 크기가 h=w이 되도록 학습 데이터로부터 샘플링된 X′를 진짜 데이터로 사용한다.
• 입력 Z와 출력 픽셀 간의 관계를 설명하고 질감 속성에 대한 시사점을 논의하기 위해 투사 필드와 수용 영역을 분석한다.

실험 결과

연구 질문

• RQ1 공간 잡음 텐서를 조건으로 하여 완전 합성곱 GAN이 임의 크기의 질감을 학습하고 합성할 수 있는가?
• RQ2 SGAN은 Gatys 등과 같은 기존 질감 합성 방법이나 비-GAN 접근법에 비해 실감도, 확장성, 속도 면에서 어떤 성능을 보이나?
• RQ3 다중 소스 질감을 결합함으로써 어떤 능력이 생기며 SGAN이 매끄럽거나 합성 질감을 생성할 수 있는가?
• RQ4 프로젝티브 필드 밖의 규칙적 패턴이나 장거리 의존성에 대해 SGAN의 한계는 무엇인가?
• RQ5 네트워크 깊이와 수용 영역이 학습된 질감의 품질과 구조에 어떤 영향을 미치는가?

주요 결과

• SGAN은 단일 순전파로도 고품질 질감을 실시간으로 생성할 수 있다.
• 완전 합성곱 설계로 임의의 원하는 크기의 질감을 출력할 수 있다.
• SGAN의 깊이를 증가시킴으로써(예: SGAN4, SGAN5, SGAN6) 투사 필드가 확장되고 위성 질감의 거리 있는 도로 패턴 같은 구조가 개선된다.
• SGAN은 여러 소스 이미지를 합성 질감으로 융합할 수 있어 다양한 질감의 자연스러운 블렌딩을 보여준다.
• 질감의 생성 속도는 이미지 크기에 대해 부분선형 이하로 확장되며 일반 해상도에서 TextureNet 및 Gatys 등보다 벤치마크에서 더 좋은 성능을 보인다.
• 위성 질감(Barcelona)의 경우 SGAN이 Gatys 등보다 방향성 구조를 더 잘 보존하며 공간 자기상관 분석으로 이를 뒷받침한다.