[논문 리뷰] TextureGAN: Controlling Deep Image Synthesis with Texture Patches

Wenqi Xian, Patsorn Sangkloy외 6명|arXiv (Cornell University)|2017. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 25

한 줄 요약

TextureGAN은 사용자가 스케치된 물체 윤곽선 위에 텍스처 패치를 드래그 앤 드롭하여 실시간으로 텍스처 생성을 제어할 수 있는 새로운 딥 이미지 합성 프레임워크를 제안한다. 적대적, 콘텐츠, 그리고 새로운 局소 텍스처 손실를 조합함으로써, 복잡한 형태와 다중 텍스처를 포함한 복잡한 구조에서도 정밀한 텍스처 전파를 수행하는 고해상도이고 현실적인 이미지를 합성한다.

ABSTRACT

In this paper, we investigate deep image synthesis guided by sketch, color, and texture. Previous image synthesis methods can be controlled by sketch and color strokes but we are the first to examine texture control. We allow a user to place a texture patch on a sketch at arbitrary locations and scales to control the desired output texture. Our generative network learns to synthesize objects consistent with these texture suggestions. To achieve this, we develop a local texture loss in addition to adversarial and content loss to train the generative network. We conduct experiments using sketches generated from real images and textures sampled from a separate texture database and results show that our proposed algorithm is able to generate plausible images that are faithful to user controls. Ablation studies show that our proposed pipeline can generate more realistic images than adapting existing methods directly.

연구 동기 및 목표

• 비전문가가 간단한 스케치와 텍스처 패치 입력만으로 현실적이며 텍스처가 적용된 이미지를 생성할 수 있도록 하는 것.
• 기존의 거친 스타일 전이를 넘어서 세밀한 텍스처 제어의 부족을 해결하는 것.
• 실시간 피드백을 제공하는 상호작용 편집을 지원하는 피드포워드 생성 모델을 개발하는 것.
• 물체 경계선, 조명, 3D처럼 보이는 축소 효과를 존중하는 강건한 텍스처 전달을 학습하는 것.
• 새로운 국소 텍스처 손실 메커니즘을 통해 훈련 데이터에 포함되지 않은 텍스처로의 일반화를 향상시키는 것.

제안 방법

• 모델는 실제 이미지에서 훈련된 조건부 GAN 아키텍처를 사용하여 스케치와 텍스처 패치에서 이미지를 생성한다.
• 네트워크가 물체 영역 전반에 걸쳐 일관되게 텍스처 세부 정보를 전파하도록 유도하기 위해 새로운 국소 텍스처 손실를 도입한다.
• 네트워크는 색상과 콘텐츠를 분리하여 더 나은 제어를 가능하게 하기 위해 Lab 색상 공간에서 작동한다.
• 훈련 데이터는 실제 사진에서 스케치와 텍스처 패치를 추출하여 자동으로 합성된다.
• 외부 텍스처 세부 조정을 위한 국소 텍스처 판별기로 복잡한 텍스처(예: 줄무늬)에 대한 성능을 향상시킨다.
• 한 개의 스케치에 여러 텍스처 패치를 지원하며, 의미론적 경계선과 물체 윤곽선을 존중하여 전파한다.

실험 결과

연구 질문

• RQ1 사용자가 스케치 위에 놓은 텍스처 패치를 통해 딥 이미지 합성을 효과적으로 제어할 수 있는가?
• RQ2 생성 모델이 다양한 고해상도 텍스처를 물체 경계를 넘어서 어떻게 전파할 수 있는가?
• RQ3 현실적인 텍스처 합성과 일관된 전파를 달성하기 위해 필요한 손실 함수는 무엇인가?
• RQ4 학습 데이터에 포함되지 않은 새로운 텍스처로 일반화할 수 있는가?
• RQ5 제안된 국소 텍스처 손실는 텍스처 무결성을 유지하는 데 있어 스타일 손실나 픽셀 손실보다 어떻게 비교되는가?

주요 결과

• TextureGAN은 스케치와 텍스처 패치 입력만으로도 고해상도이고 현실적인 이미지를 정밀한 텍스처 제어로 성공적으로 생성한다.
• 절단 실험 결과, 제안된 국소 텍스처 손실는 스타일 손실나 픽셀 손실만을 사용한 경우에 비해 텍스처 전파와 일관성 측면에서 뚜렷한 향상을 보임을 확인한다.
• 입력 패치 내부의 텍스처 세부 정보를 유지하며, 심지어 스케치 경계선을 초월하는 패치 영역에서도 정확하게 전파한다.
• 외부 텍스처 세부 조정을 통해 줄무늬가 있는 가방이나 의류와 같은 복잡한 텍스처에서 뛰어난 성능을 달성한다.
• 여러 개의 텍스처 패치를 지원하며 경계선 준수를 유지하여 물체 윤곽선과 조명을 존중하는 결과를 생성한다.
• 사람이 그린 스케치에 대한 결과는 입력의 불완전함에 대해 강건성을 보이며, 스케치 품질의 변동에도 불구하고 높은 시각적 품질을 유지한다.