[논문 리뷰] Non-Stationary Texture Synthesis by Adversarial Expansion

Yang Zhou, Zhen Zhu외 4명|arXiv (Cornell University)|2018. 05. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 25

한 줄 요약

이 논문은 비정상적인 텍스처 합성에 적합한 GAN 기반 방법을 제안하며, 예시에서 작은 텍스처 패치를 두 배로 적대적으로 확장하는 완전 컨volution 레이어 생성자(Generator)를 훈련시켜, 대규모 구조와 공간적 변형을 유지한다. 이 방법은 이전 방법이 반복적 또는 주기적인 출력을 내는 데서 실패하는 복잡하고 반복되지 않는 텍스처—예를 들어 나무 고리, 잎의 맥락, 타일 패턴 등—을 성공적으로 합성한다.

ABSTRACT

The real world exhibits an abundance of non-stationary textures. Examples include textures with large-scale structures, as well as spatially variant and inhomogeneous textures. While existing example-based texture synthesis methods can cope well with stationary textures, non-stationary textures still pose a considerable challenge, which remains unresolved. In this paper, we propose a new approach for example-based non-stationary texture synthesis. Our approach uses a generative adversarial network (GAN), trained to double the spatial extent of texture blocks extracted from a specific texture exemplar. Once trained, the fully convolutional generator is able to expand the size of the entire exemplar, as well as of any of its sub-blocks. We demonstrate that this conceptually simple approach is highly effective for capturing large-scale structures, as well as other non-stationary attributes of the input exemplar. As a result, it can cope with challenging textures, which, to our knowledge, no other existing method can handle.

연구 동기 및 목표

• 대규모 구조와 방향, 척도, 색상 등의 공간적으로 변하는 특성을 보이는 비정상적 텍스처를 합성하는 데 도전하는 것.
• 비정상적 예시에 대해 정상적 또는 주기적인 결과를 내는 기존의 예시 기반 텍스처 합성 방법의 한계를 극복하는 것.
• 기존 패턴을 단순히 반복하거나 강화하는 것이 아니라, 입력 예시를 초월해 새로운 구조적으로 일관된 텍스처 콘텐츠를 학습하여 생성하는 방법을 개발하는 것.
• 입력 예시 하나당 하나의 훈련된 생성자로, 크기와 다양성을 제어할 수 있는 빠른 프리패스(Feed-Forward) 텍스처 합성 지원.
• 외부 가이던스 이미지(예: 스케치, 노이즈, 실제 이미지)에 훈련된 생성자를 적용하여 텍스처 전이를 가능하게 하여, 입력의 대규모 패턴을 따르는 합성 결과를 만드는 것.

제안 방법

• 주어진 예시에서 작은 텍스처 패치(예: 64×64)를 더 큰 블록(예: 128×128)으로 두 배로 확장하는 것을 목표로, 생성 적대 신경망(GAN)을 훈련한다.
• 생성자는 실제 큰 블록과 생성된 블록을 구분하도록 훈련된 판별자(Discriminator)에 대한 적대적 손실을 최소화함으로써, 시각적으로 신뢰할 수 있는 확장을 학습한다.
• 훈련은 자기지도 학습(self-supervised) 방식이다: 실제 큰 블록은 예시에서 샘플링되고, 생성자는 동일한 예시의 작은 패치를 확장하여 생성한다.
• 완전 컨volution 레이어 생성자는 단일 프리패스를 통해 빠른 추론을 가능하게 하며, 원본 크기의 두 배까지의 텍스처 합성 지원.
• 더 큰 텍스처는 생성자의 출력을 다시 자기 자신에 입력하여 재귀적으로 생성함으로써 다중 척도 확장을 가능하게 한다.
• 외부 이미지(예: 스케치, Perlin 노이즈, 실제 이미지 등)를 생성자에 입력함으로써 텍스처 전이를 가능하게 하여, 출력이 입력의 대규모 구조를 따르게 한다.

실험 결과

연구 질문

• RQ1 기존 방법이 포착하지 못하는 대규모 구조와 공간적으로 변하는 특성을 지닌 비정상적 텍스처를 GAN 기반 접근법이 효과적으로 합성할 수 있는가?
• RQ2 국소 패치 확장 훈련을 통해 학습된 생성자가 원형 나무 고리나 가지가 갈라지는 잎의 맥락과 같은 전반적 패턴을 얼마나 잘 재현하고 확장할 수 있는가?
• RQ3 동일한 훈련된 생성자가 외부 가이던스 이미지의 대규모 패턴을 따르는 결과를 생성하는 데 얼마나 잘 일반화되는가?
• RQ4 훈련 패치에 잘 표현되지 않은 희귀하거나 고립된 구조(예: 해바라기의 중심점)를 다룰 때 이 방법의 한계는 무엇인가?
• RQ5 입력에 존재하지 않는 새로운 비중복 텍스처 요소를 생성하면서 아티팩트나 반복을 피할 수 있는가?

주요 결과

• 제안된 방법은 모든 최첨단 기준 방법이 실패하는 매우 비정상적인 텍스처—예를 들어 나무 고리, 잎의 맥락, 타일 패턴 등—을 성공적으로 합성한다. 이는 정상적 또는 주기적인 결과를 내는 데서 기인한다.
• 생성자는 원본 입력을 반복하지 않고도 새로운 텍스처 요소(예: 추가된 맥락, 깃털, 타일 등)를 생성하며, 척도와 간격을 유지하면서도 새로운 콘텐츠를 도입한다.
• 결과는 나무의 공심 고리나 해바라기의 방사형 패턴과 같은 대규모 구조를 충실하게 재현함으로써, 시각적 타당성에 핵심적인 역할을 한다.
• 스케치나 Perlin 노이즈와 같은 외부 입력에 생성자를 적용함으로써 텍스처 전이를 가능하게 하여, 입력의 대규모 레이아웃을 따르는 신뢰할 수 있는 텍스처를 생성한다.
• 경계나 모서리 근처에 아티팩트가 나타나는데, 이는 훈련 예제 수가 적고 컨volution 패딩 효과로 인한 것으로 보이며, 가장자리 영역에 민감함을 시사한다.
• 큰 구조적 요소(예: 뚜렷한 타일 또는 중심 고립점)가 훈련 패치에 충분히 포함되지 않을 경우 실패 케이스가 발생하며, 더 풍부한 데이터나 다중 텍스처 훈련이 필요함을 시사한다.