[논문 리뷰] Texture Mixer: A Network for Controllable Synthesis and Interpolation of Texture

Ning Yu, Connelly Barnes외 3명|arXiv (Cornell University)|2019. 01. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 10

한 줄 요약

Texture Mixer는 입력 텍스처를 공유 잠재공간에 투영하여 선형 보간을 수행한 후 이미지 공간으로 복원함으로써 상호작용적이고 고품질의 텍스처 합성 및 보간을 가능하게 하는 딥 네ural 네트워크를 제안한다. 이 방법은 현실성, 제어 가능성, 부드러움 측면에서 최신 기준 성능을 달성하여 정량적 지표와 사용자 연구 모두에서 베이스라인을 능가한다.

ABSTRACT

This paper addresses the problem of interpolating visual textures. We formulate this problem by requiring (1) by-example controllability and (2) realistic and smooth interpolation among an arbitrary number of texture samples. To solve it we propose a neural network trained simultaneously on a reconstruction task and a generation task, which can project texture examples onto a latent space where they can be linearly interpolated and projected back onto the image domain, thus ensuring both intuitive control and realistic results. We show our method outperforms a number of baselines according to a comprehensive suite of metrics as well as a user study. We further show several applications based on our technique, which include texture brush, texture dissolve, and animal hybridization.

연구 동기 및 목표

• 이미지 공간에서 다수의 텍스처 간에 현실적이며 제어 가능한 보간을 달성하는 데 도전하는 것.
• 그림자, 균열, 반복 등의 아티팩트를 피하면서도 텍스처 배치 및 혼합에 대한 직관적인 사용자 제어를 가능하게 하는 것.
• 인터랙티브 속도로 작동하는 피드포워드 네트워크를 개발하여 텍스처 브러싱 및 동물 하이브리드화와 같은 다수의 응용 분야를 지원하는 것.
• 공유 가중치와 공유 잠재공간을 통해 재구성 정확도와 현실적인 보간을 동시에 최적화하는 통합 모델을 훈련하는 것.

제안 방법

• 네트워크는 재구성 작업과 조건부 GAN 기반 보간 작업을 동시에 훈련하는 공유 인코더-디코더 아키텍처를 사용한다.
• 입력 텍스처는 선형 보간, 타일링, 셔플링 연산을 수행할 수 있는 공유 잠재공간으로 인코딩된다.
• 보간 작업은 선형 조합된 잠재 코드가 이미지 도메인에서 현실적이며 아티팩트가 없는 텍스처를 생성하도록 보장하기 위해 디스크리미네이터를 활용한다.
• 이 방법은 두 개의 잠재 벡터를 도입한다: 국소 텍스처 모델링을 위한 $z^l$과 전반적인 구조를 위한 $z^g$로, $z^g$는 전환의 부드러움을 향상시킨다.
• 공간적 반복을 제거하고 시각적 다양성을 향상시키기 위해 잠재공간에서 셔플링 연산을 적용한다.
• 추론 과정에서는 사용자가 원천 텍스처와 보간 가중치를 지정하며, 이들이 잠재공간으로 투영되어 복원되어 부드럽고 현실적인 복합 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 입력 텍스처의 고정밀 재구성과 다수 텍스처 간의 제어 가능한 현실적인 보간을 동시에 달성할 수 있는가?
• RQ2 잠재공간 연산인 보간, 타일링, 셔플링을 어떻게 활용하여 다양한 아티팩트 없는 텍스처 조합을 생성할 수 있는가?
• RQ3 재구성과 적대적 보간을 함께 훈련하는 것이 별도 훈련과 비교해 시각적 품질과 제어 가능성에 얼마나 기여하는가?
• RQ4 잠재공간 구성 요소인 $z^g$, 블렌딩, 셔플링 등의 아키텍처 요소가 보간된 텍스처의 현실성과 부드러움에 미치는 영향은 어떠한가?
• RQ5 텍스처 페인팅 및 소재 혼합과 같은 실시간 응용 분야에 적합한 사용자 제어 텍스처 보간을 효율적이고 실용적으로 구현할 수 있는가?

주요 결과

• 제안된 방법은 모든 평가 지표에서 최신 기준 성능을 달성하였으며, 사용자 연구에서는 모든 베이스라인 대비 90% 이상의 선호도를 기록하였다.
• 사용자 연구 결과, 모든 베이스라인 대비 Texture Mixer에 대한 통계적으로 유의미한 선호도가 확인되었으며, 모든 메서드 쌍에 대해 p값이 10^-6 이하였다.
• 절단 실험 결과 $z^g$를 제거할 경우 전환이 덜 부드러워지고, 셔플링을 생략할 경우 눈에 띄는 반복이 발생함을 확인하여, 이 요소들이 시각적 품질 향상에 핵심적인 역할을 한다는 것을 입증하였다.
• AdaIN, WCT, DeepFill, PSGAN과 같은 강력한 베이스라인과 비교해 정량적 지표와 정성적 결과 모두에서 우수한 성능을 보였으며, 특히 그림자와 반복 아티팩트를 줄이는 데 뛰어난 성능을 보였다.
• 재구성 손실과 보간 손실을 모두 포함함으로써, 단일 작업에만 훈련된 모델보다 더 나은 일반화와 현실감을 확보하였다.
• 텍스처 브러싱, 텍스처 용해, 동물 하이브리드화와 같은 실용적 응용을 가능하게 하여 창의적 워크플로우에서의 유용성을 입증하였다.