[논문 리뷰] Learning to Synthesize Fashion Textures

Shi Wu, Tak-Wai Hui외 3명|arXiv (Cornell University)|2019. 11. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 패션 텍스처를 위한 새로운 비조건부 생성 모델을 제안하며, 텍스처 특징으로서 그람 행렬을 명시적으로 합성하고, 다중 척도 특징 상관관계를 모델링하기 위해 순환 오토인코더를 사용하며, 잠재 공간에서 가우시안 믹스처 모델(GMM)을 사용해 다양성을 향상시킨다. 이 방법은 FID 및 사용자 선호도 기준에서 이전 방법들에 비해 크게 뛰어난 실사성과 다양성을 달성한다.

ABSTRACT

Existing unconditional generative models mainly focus on modeling general objects, such as faces and indoor scenes. Fashion textures, another important type of visual elements around us, have not been extensively studied. In this work, we propose an effective generative model for fashion textures and also comprehensively investigate the key components involved: internal representation, latent space sampling and the generator architecture. We use Gram matrix as a suitable internal representation for modeling realistic fashion textures, and further design two dedicated modules for modulating Gram matrix into a low-dimension vector. Since fashion textures are scale-dependent, we propose a recursive auto-encoder to capture the dependency between multiple granularity levels of texture feature. Another important observation is that fashion textures are multi-modal. We fit and sample from a Gaussian mixture model in the latent space to improve the diversity of the generated textures. Extensive experiments demonstrate that our approach is capable of synthesizing more realistic and diverse fashion textures over other state-of-the-art methods.

연구 동기 및 목표

• 얼굴이나 경관과 같은 일반적인 물체와는 다름없이 패션 텍스처에 대한 비조건부 생성 모델링에 대한 종합적인 연구가 부족한 점을 해결하기 위해.
• 기존의 픽셀 공간 또는 특징 공간 GAN의 한계를 극복하고, 처음부터 현실적이고 다양한 패션 텍스처를 생성할 수 있는 생성 모델을 개발하기 위해.
• 전용 아키텍처 및 훈련 구성 요소를 통해 패션 텍스처의 다중 척도, 상호 상관관계, 다중 모달성 특성을 명시적으로 모델링하기 위해.
• 잠재 공간에서 가우시안 믹스처 모델(GMM)을 피팅하고 샘플링하여 샘플의 다양성을 향상시키고 모드 붕괴를 방지하기 위해.
• 대규모이고 다양한 패션 텍스처 데이터셋에서 모델을 검증하여, 시각적 품질, FID, 사용자 연구에서 기존 기준 모델들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 텍스처 모델링의 핵심 내부 표현으로 컨볼루션 특징의 두 번째 모멘트 통계인 그람 행렬을 사용하여 정적성과 공간 불변성을 확보한다.
• 전용의 G2V(그람에서 벡터로) 및 V2G(벡터에서 그람으로) 변환 레이어가 효율적인 계산과 생성을 위해 구조를 유지하는 차원 축소를 수행한다.
• 다중 네트워크 레이어를 거쳐 그람 행렬을 처리하는 순환 오토인코더 아키텍처가 다중 척도 텍스처 특징 간의 계층적 의존성을 모델링한다.
• 추론 과정에서 잠재 공간에 피팅된 가우시안 믹스처 모델(GMM)에서 잠재 코드를 샘플링하여 다중 모달 분포를 더 잘 포괄하고 샘플 다양성을 향상시킨다.
• 생성 네트워크는 다중 수준 특징 일致성을 존중하는 조건부 생성 과정을 통해 합성된 그람 행렬에서 고해상도(256×256) 텍스처 이미지를 재구성한다.
• 훈련 목표는 현실적인 이미지 품질과 특징 무결성을 확보하기 위해 적대적 손실과 인지적 재구성 손실을 조합한다.

실험 결과

연구 질문

• RQ1 그람 행렬은 비조건부 패션 텍스처 생성을 위한 효과적이고 효율적인 내부 표현으로 기능할 수 있는가?
• RQ2 다른 네트워크 레이어에서의 다중 척도 텍스처 특징를 생성 과정에서 효과적으로 모델링하고 일관성 있게 유지할 수 있는가?
• RQ3 잠재 공간에서 학습된 GMM에서 샘플링하는 것이 표준 가우시안 노이즈에 비해 생성된 패션 텍스처의 다양성과 실사성에 크게 기여하는가?
• RQ4 제안된 순환 오토인코더 아키텍처가 표준 MLP 기반 대안에 비해 텍스처 구조와 일관성을 유지하는 데 얼마나 뛰어난가?
• RQ5 시각적 품질, FID, 사용자 선호도 측면에서 제안된 방법이 기존 최첨단 텍스처 및 패션 이미지 생성 모델들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 프레셰 이너셉션 디스턴스(FID) 스코어 37.74를 달성하여, DistGAN(41.97), PSGAN(77.10), TextureGAN(44.38) 등의 기준 모델들보다 유의미하게 뛰어나다.
• 제거 분석 결과, 그람 행렬 변환에 완전히 연결된 층을 사용할 경우 FID는 37.32로 略적으로 향상되지만, 184M 파라미터가 필요로 하며, 제안된 방법의 경우 단지 10.8M 파라미터만 사용함으로써 더 뛰어난 파라미터 효율성을 입증한다.
• 순환 오토인코더를 MLP 기반 아키텍처로 대체할 경우 FID는 45.72로 상승하여, 다중 수준 특징 일관성을 유지하고 합성 오류를 감소시키기 위해 순환 구조가 필수적임을 시사한다.
• 잠재 공간에서 GMM에서 샘플링함으로써 모드 붕괴가 감소하고 다양성이 향상됨을 확인할 수 있었으며, 2D PCA 시각화에서 실제 데이터 분포를 더 넓게 커버하는 것으로 나타났다. 반면 N(0,I)에서 샘플링한 경우 유사한 무늬 패턴만 생성되었다.
• 표준 가우시안 노이즈를 사용할 경우 FID 스코어는 40.83으로 상승하여, GMM 샘플링이 다양성과 실사성을 향상시킨다는 것을 확인한다.
• 사용자 선호도 연구 결과, 제안된 방법이 기준 모델들보다 더 시각적으로 선호되는 텍스처를 생성함을 확인하였으며, 이는 정량적 FID 및 정성적 결과와 일치한다.