[논문 리뷰] LoGANv2: Conditional Style-Based Logo Generation with Generative Adversarial Networks

Cedric Oeldorf, Gerasimos Spanakis|arXiv (Cornell University)|2019. 09. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 34

한 줄 요약

본 논문은 StyleGAN에 조건 잠재 공간과 조건 WGAN-GP 손실을 추가하여 객체-분류 및 ResNet 기반 라벨링으로 컨디셔닝을 하는 고해상도, 제어 가능한 로고 생성이 가능하도록 확장한다. 무조건 모델과 조건부 모델을 로고 데이터에 대해 평가하고 품질, 다양성, 학습된 클래스 준수 간의 trade-off를 분석한다.

ABSTRACT

Domains such as logo synthesis, in which the data has a high degree of multi-modality, still pose a challenge for generative adversarial networks (GANs). Recent research shows that progressive training (ProGAN) and mapping network extensions (StyleGAN) enable both increased training stability for higher dimensional problems and better feature separation within the embedded latent space. However, these architectures leave limited control over shaping the output of the network, which is an undesirable trait in the case of logo synthesis. This paper explores a conditional extension to the StyleGAN architecture with the aim of firstly, improving on the low resolution results of previous research and, secondly, increasing the controllability of the output through the use of synthetic class-conditions. Furthermore, methods of extracting such class conditions are explored with a focus on the human interpretability, where the challenge lies in the fact that, by nature, visual logo characteristics are hard to define. The introduced conditional style-based generator architecture is trained on the extracted class-conditions in two experiments and studied relative to the performance of an unconditional model. Results show that, whilst the unconditional model more closely matches the training distribution, high quality conditions enabled the embedding of finer details onto the latent space, leading to more diverse output.

연구 동기 및 목표

• GAN에서 로고 데이터의 고다중성(다중 모드) 문제에 대응하고 더 높은 해상도에서의 학습 안정성을 향상시킨다.
• StyleGAN의 제어 가능성을 확보하기 위한 조건부 확장을 도입한다.
• 자동 라벨 추출에서 파생된 두 가지 컨디셔닝 전략을 개발하고 비교한다.
• 조건화가 품질, 다양성, 다중 모드 로고 분포의 학습에 어떤 영향을 미치는지 평가한다.

제안 방법

• 진행적 학습을 채택하고 StyleGAN에서 영감을 받은 스타일 기반 생성기를 도입하여 고해상도 로고 합성을 안정화한다.
• 매핑 네트워크 이전의 중간 잠재 공간에 클래스 조건을 임베딩하여 컨디셔닝을 도입한다.
• 조건부 WGAN-GP로 GAN 손실을 업데이트하여 판별기 학습에 컨디셔닝 라벨을 통합한다.
• 두 가지 방법으로 시각적 클래스 조건을 추출한다: 물체-분류 기반 라벨링과 ResNet 특징 임베딩.
• 4x4에서 시작하여 더 높은 해상도까지 무조건 모델과 조건부 모델을 평가하고, FID 및 잘라내기(truncation) 기법을 포함한 정성적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 로고에서 의미 있고 쉽게 정의 가능한 클래스 조건을 추출하여 생성 가이드를 줄 수 있는가?
• RQ2 조건화가 학습 안정성을 유지하면서 더 높은 해상도 로고 합성을 가능하게 하는가?
• RQ3 다른 컨디셔닝 신호(물체 분류 vs ResNet 특징)가 로고 생성의 다양성, 품질, 모드 커버리지에 어떤 영향을 미치는가?
• RQ4 다중 모드 로고 데이터에서 무조건 현실성과 조건부 제어 가능성 사이의 trade-off는 무엇인가?

주요 결과

• 무조건 StyleGAN은 FID에 의해 학습 분포에 가장 근접한 매치를 달성하여 안정적이고 분포에 일치하는 출력을 나타낸다.
• 물체 분류 기반 조건은 다양성을 제공하지만 시각적으로 덜 명확하게 구분되는 시각적 결과를 낳고 FID가 더 높고 학습이 느리다.
• ResNet 특징 기반 조건은 클래스 내 동질성이 높고 세부 수준이 높은 시각적으로 응집된 로고를 생성하나 FID가 더 높아 출력이 더 선명하지만 더 발산한다.
• 진행적 학습으로 초기 단계에서 분포의 복잡성을 줄여 prior 작업보다 네 배 더 높은 해상도에서도 모든 모델의 안정적 학습이 가능하다.
• 고해상도 조건부는 더 복잡한 모드를 학습하는 데 도움이 되지만 일부 비상식적 출력이 생길 수 있고 전체 분포의 충실도가 감소할 수 있다.