[논문 리뷰] Learning Texture Manifolds with the Periodic Spatial GAN

Urs Bergmann, Nikolay Jetchev외 1명|arXiv (Cornell University)|2017. 05. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 23

한 줄 요약

이 논문은 복잡한 텍스처 다양체를 학습하기 위해 전역, 국소 및 주기적 공간 차원을 갖는 노이즈 텐서를 확장하는 새로운 생성적 적대적 네트워크인 주기적 공간 GAN(PSGAN)을 제안한다. PSGAN은 확장 가능한 고해상도 텍스처 합성, 텍스처 간의 부드러운 보간, 주기적 패턴의 정확한 모델링을 가능하게 하여 다양한 데이터셋에서 이전의 GAN 기반 방법보다 유연성과 시각적 품질 면에서 뛰어나다.

ABSTRACT

This paper introduces a novel approach to texture synthesis based on generative adversarial networks (GAN) (Goodfellow et al., 2014). We extend the structure of the input noise distribution by constructing tensors with different types of dimensions. We call this technique Periodic Spatial GAN (PSGAN). The PSGAN has several novel abilities which surpass the current state of the art in texture synthesis. First, we can learn multiple textures from datasets of one or more complex large images. Second, we show that the image generation with PSGANs has properties of a texture manifold: we can smoothly interpolate between samples in the structured noise space and generate novel samples, which lie perceptually between the textures of the original dataset. In addition, we can also accurately learn periodical textures. We make multiple experiments which show that PSGANs can flexibly handle diverse texture and image data sources. Our method is highly scalable and it can generate output images of arbitrary large size.

연구 동기 및 목표

• 감독 없이도 대규모이고 복잡한 이미지 데이터셋으로부터 학습할 수 있는 데이터 기반의 텍스처 합성 방법을 개발하는 것.
• 비주기적 및 주기적 텍스처, 특히 순환 정상성 특성을 갖는 텍스처를 모델링하는 것.
• 학습된 텍스처 간의 부드러운 보간을 가능하게 하여 기존 훈련 데이터에 존재하지 않는 새로운 시각적으로 융합된 텍스처를 생성하는 것.
• 메모리와 추론 시간에 대해 선형적 확장성을 확보하여 임의의 출력 이미지 크기를 지원하는 것.
• 기존 GAN 및 파rametric 방법이 텍스처 다양체와 주기적 구조를 다룰 때 겪는 한계를 극복하는 것.

제안 방법

• PSGAN은 국소(Z^l), 전역(Z^g), 주기적(Z^p)이라는 세 가지 유형의 차원을 노이즈 텐서에 추가하여, 각각 고유한 공간적 구조를 갖는다.
• 생성자 네트워크는 이러한 구조화된 노이즈 텐서를 완전 컨볼루션 레이어를 통해 처리하여 임의의 크기의 이미지를 생성한다.
• 주기적 차원(Z^p)은 허브코트나 물고기 비늘과 같은 주기적 텍스처를 모델링하기 위해 고정된 공간 주파수를 갖도록 설계되었다.
• 전역 차원(Z^g)은 다양한 이미지 영역에서 일관된 텍스처 패턴을 유지하여 무결함 없는 타일링을 가능하게 한다.
• 모델는 표준 GAN 목적함수를 사용하여 훈련되며, 디스크림너는 완전히 무 supervision 방식으로 진짜 이미지와 생성된 이미지를 구분한다.
• 대규모 출력을 공간 패치로 분할함으로써 효율적이고 확장 가능한 생성을 지원하며, GPU 메모리 사용량을 일정하게 유지한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 감독 없이 대규모 비라벨 이미지 데이터셋으로부터 다양한 텍스처를 학습하고 생성할 수 있는가?
• RQ2 모델는 여러 텍스처를 표현하고 보간하여 연속적인 텍스처 다양체를 형성할 수 있는가?
• RQ3 모델은 복잡한 공간 주파수를 갖는 주기적 텍스처, 특히 복잡한 패atters까지 정확히 포착하고 생성할 수 있는가?
• RQ4 구조화된 노이즈 공간은 서로 다른 텍스처 유형 간에 부드럽고 시각적으로 의미 있는 전이를 가능하게 하는가?
• RQ5 모델는 선형적 메모리 및 계산 복잡도를 유지하면서 임의의 크기의 출력 이미지 크기로 확장 가능한가?

주요 결과

• PSGAN은 대규모 데이터셋에서 복잡한 비정상성 및 순환 정상성 과정을 포함한 다양한 텍스처를 성공적으로 학습하고 합성하여 이전의 GAN 및 파arametric 방법을 능가한다.
• 모델는 구조화된 노이즈 공간에서 텍스처 간의 부드러운 보간을 가능하게 하여 기존 훈련 데이터에 존재하지 않는 새로운 시각적으로 융합된 텍스처를 생성한다.
• PSGAN은 허브코트나 물고기 비늘과 같은 주기적 텍스처를 정확한 공간 주파수와 정렬로 정확히 모델링하며, 이는 이전 방법과 대비된다.
• 아키텍처는 선형적 메모리 및 런타임 복잡도를 유지하면서도 확장 가능한 고해상도 이미지 생성을 지원하여 임의의 크기의 출력을 가능하게 한다.
• 무결함 없는 스티칭을 통해 타일링 가능한 텍스처를 생성하여 대규모 타일링이 필요한 애플리케이션에 적합하다.
• 다른 강점에도 불구하고, 다양한 척도와 주기성을 갖는 매우 다양성이 높은 텍스처를 학습할 때 모드 소실 현상이 가끔 발생한다.