[논문 리뷰] Inspirational Adversarial Image Generation

Morgane Rivière, Olivier Teytaud외 3명|arXiv (Cornell University)|2019. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 7

한 줄 요약

이 논문은 사용자가 제공한 영감이 되는 이미지를 가이드로 삼아, GAN의 잠재공간 최적화를 활용하여 고품질이고 커스터마이징 가능한 이미지를 생성하는 새로운 최적화 기반 방법을 제안한다. 인간의 선호도를 기반으로 기울기 또는 기울기 없는 최적화를 반복적으로 적용함으로써, 다양한 데이터셋에서 고해상도 출력을 제공하는 안정적인 얼굴 복합 및 패션 생성이 가능해진다.

ABSTRACT

The task of image generation started to receive some attention from artists and designers to inspire them in new creations. However, exploiting the results of deep generative models such as Generative Adversarial Networks can be long and tedious given the lack of existing tools. In this work, we propose a simple strategy to inspire creators with new generations learned from a dataset of their choice, while providing some control on them. We design a simple optimization method to find the optimal latent parameters corresponding to the closest generation to any input inspirational image. Specifically, we allow the generation given an inspirational image of the user choice by performing several optimization steps to recover optimal parameters from the model's latent space. We tested several exploration methods starting with classic gradient descents to gradient-free optimizers. Many gradient-free optimizers just need comparisons (better/worse than another image), so that they can even be used without numerical criterion, without inspirational image, but with only with human preference. Thus, by iterating on one's preferences we could make robust Facial Composite or Fashion Generation algorithms. High resolution of the produced design generations are obtained using progressive growing of GANs. Our results on four datasets of faces, fashion images, and textures show that satisfactory images are effectively retrieved in most cases.

연구 동기 및 목표

• GAN과 같은 깊이 학습 생성 모델을 사용할 때 번거롭고 시간이 오래 소요되는 이미지 생성 문제를 해결하기 위해 사용자 가이드 최적화 전략을 도입하고자 한다.
• 사용자가 직접 선택한 기준 이미지를 바탕으로 수동 조정이 거의 필요 없이 이미지를 생성할 수 있도록 하고자 한다.
• 수치적 손실 함수가 없더라도 인간의 선호도 비교에 의존함으로써 작동하는 방법을 개발하고자 한다.
• 진행적 성장 GAN(PG-GAN)을 활용하여 고해상도 이미지 생성을 실현함으로써 시각적 품질을 향상시키고자 한다.
• 기울기 강하법에서 기울기 없는 방법에 이르기까지 다양한 최적화 전략이 다양한 이미지 생성 작업에 어떻게 영향을 미치는지 평가하고자 한다.

제안 방법

• 사전에 훈련된 GAN의 잠재공간에서 잠재 코드를 최적화하여 사용자가 제공한 영감이 되는 이미지와 가장 시각적으로 유사한 이미지를 생성한다.
• 학습된 특징 공간을 활용해 생성된 이미지와 영감이 되는 입력 간의 시각적 거리를 최소화하기 위해 반복적인 최적화 단계를 수행한다.
• 기울기 없는 최적화기는 인간의 선호도 기반으로 이미지 쌍(더 나은 것/더 나쁜 것)을 비교함으로써 수치적 손실 함수가 필요 없도록 한다.
• 고해상도 이미지 생성을 위해 진행적 성장 GAN(PG-GAN)을 사용하여 세밀하고 현실적인 출력을 보장한다.
• 최적화 과정은 임의의 잠재 벡터로 초기화되고, 사용자 피드백 또는 시각적 유사도에 따라 여러 반복을 거쳐 개선된다.
• 표준 기울기 강하법부터 비교 기반 최적화기까지 다양한 탐색 전략을 평가하여 안정성과 성능을 점검한다.

실험 결과

연구 질문

• RQ1 사용자가 제공한 영감이 되는 이미지를 기반으로 한 잠재공간 최적화가 GAN에서 고품질이고 커스터마이징 가능한 이미지 생성을 성공적으로 이끌 수 있는가?
• RQ2 수치적 손실 함수 없이 인간의 선호도 비교에만 의존하는 기울기 없는 최적화 방법이 원하는 이미지를 생성하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 얼굴 복합 및 패션 디자인과 같은 다양한 이미지 생성 작업을 얼마나 잘 지원할 수 있는가?
• RQ4 이 프레임워크에서 진행적 성장 GAN(PG-GAN)을 사용할 경우 생성된 이미지의 해상도와 현실감에 어떤 영향을 미치는가?
• RQ5 기울기 기반 최적화와 기울기 없는 최적화 전략 간의 수렴 속도와 시각적 품질 측면에서의 성능 비교는 어떠한가?

주요 결과

• 제안된 방법은 얼굴, 패션, 텍스처를 포함한 네 가지 다양한 데이터셋에서 대부분의 경우 만족스러운 이미지 생성을 성공적으로 수행한다.
• 수치적 손실 함수 없이도 인간의 선호도 비교에만 의존하는 기울기 없는 최적화기는 원하는 이미지를 효과적으로 생성하는 데 성공한다.
• 진행적 성장 GAN(PG-GAN)의 통합을 통해 고해상도 이미지 생성이 구현되어 세밀하고 현실적인 출력 결과를 얻을 수 있다.
• 최적화 과정은 기울기 강하법부터 비교 기반 최적화기까지 다양한 탐색 방법에 대해 안정성을 보이며, 다양한 방법에 대해 유사한 성능을 유지한다.
• 시각적 유사도 또는 선호도 피드백만으로도 사용자 가이드 이미지 생성이 가능하고 효과적이며, 실용적인 창작 응용이 가능하다.