[논문 리뷰] Vector Image Generation by Learning Parametric Layer Decomposition

Othman Sbai, Camille Couprie외 1명|arXiv (Cornell University)|2018. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 5

한 줄 요약

이 논문은 색상과 미분 가능하고 매개변수화된 투명도 마스크로 구성된 계층적 구조로 이미지를 표현하는 딥 생성 모델을 제안한다. 이는 고해상도, 상호작용 가능한 이미지 생성을 가능하게 하며 사용자 제어가 직관적으로 이루어지도록 한다. 이 방법은 CIFAR10, CelebA, ImageNet에서 유사한 메모리 제약 조건 하에 최신 기준과 경쟁 가능한 재구성 품질을 달성하면서도 무한 해상도를 지원하고 사용자가 편집할 수 있는 구성 요소를 제공한다.

ABSTRACT

Deep image generation is becoming a tool to enhance artists and designers creativity potential. In this paper, we aim at making the generation process easier to understand and interact with. Inspired by vector graphics systems, we propose a new deep generation paradigm where the images are composed of simple layers, defined by their color and a parametric transparency mask. This presents a number of advantages compared to the commonly used convolutional network architectures. In particular, our layered decomposition allows simple user interaction, for example to update a given mask, or change the color of a selected layer. From a compact code, our architecture also generates images with a virtually infinite resolution, the color at each point in an image being a parametric function of its coordinates. We validate the viability of our approach in the auto-encoding framework by comparing reconstructions with state-of-the-art baselines given similar memory resources on CIFAR10, CelebA and ImageNet datasets and demonstrate several applications. We also show Generative Adversarial Network (GAN) results qualitatively different from the ones obtained with common approaches.

연구 동기 및 목표

• 벡터 그래픽스를 영감으로 삼아 더 해석 가능하고 상호작용 가능한 이미지 생성 프레임워크를 개발하기 위해.
• 공간 좌표의 매개변수 함수를 사용해 압축된 코드로부터 고해상도 이미지 합성을 가능하게 하기 위해.
• 레이어 색상 또는 마스크 편집과 같은 직관적인 사용자 상호작용을 지원하기 위해.
• 유사한 메모리 제약 조건 하에서 자동에코딩 및 GAN 프레임워크 모두에서 성능을 검증하기 위해.
• 매개변수화된 레이어 분해를 통해 거의 무한 해상도의 이미지 생성 가능성을 입증하기 위해.

제안 방법

• 모델은 각각 색상과 미분 가능하고 매개변수화된 투명도 마스크로 정의된 다수의 레이어로 이미지를 분해한다.
• 각 레이어의 불투명도는 공간 좌표의 연속 함수로 신경망을 사용해 모델링한다.
• 최종 이미지는 표준 알파 블렌딩을 사용해 레이어를 순서대로 복합화하여 합성한다.
• 입력 이미지를 레이어 매개변수로부터 재구성하기 위해 엔드 투 엔드로 훈련되는 자동에코딩 목표를 사용한다.
• 디스크림ิน레이터를 인지적 손실로 대체하여 GAN에 확장함으로써 레이어 수준의 분리성 유지가 가능해진다.
• 훈련 시의 해상도 제한을 초월해도, 매개변수화된 마스크를 임의의 좌표에서 평가함으로써 해상도 스케일링을 지원한다.

실험 결과

연구 질문

• RQ1 매개변수화된 레이어 분해 기반의 딥 생성 모델이 최신 기준과 비교해 경쟁 가능한 재구성 품질을 달성할 수 있는가?
• RQ2 이러한 모델이 압축된 코드만으로도 고해상도 이미지 생성을 무한 해상도로 지원할 수 있는가?
• RQ3 사용자가 개별 레이어(예: 색상 또는 마스크)를 편집하여 생성된 이미지를 효과적으로 수정할 수 있는가?
• RQ4 메모리 효율성과 재구성 정확도 측면에서 매개변수화된 레이어 모델은 컨볼루션 네트워크보다 어떻게 비교되는가?
• RQ5 모델의 GAN 버전은 표준 GAN과 비교해 시각적으로 구분되고 다양한 출력을 생성할 수 있는가?

주요 결과

• 유사한 메모리 제약 조건 하에서 최신 기준과 비교해 CIFAR10, CelebA, ImageNet에서 경쟁 가능한 재구성 품질을 달성한다.
• 입력 시점에 좌표의 매개변수 함수를 통해 픽셀 값을 계산하기 때문에, 거의 무한 해상도의 이미지 생성이 가능하다.
• 레이어 색상 또는 마스크 편집과 같은 사용자 상호작용은 직관적이고 의미 있는 이미지 수정을 이끈다.
• GAN 기반 버전은 표준 GAN과 비교해 시각적으로 다채롭고 다양한 이미지 샘플을 생성하여 콘텐츠와 스타일의 효과적인 분리성을 보여준다.
• 매개변수화된 레이어 분해 방식은 표준 컨볼루션 아키텍처보다 더 해석 가능하고 제어 가능한 이미지 생성 파이프라인을 가능하게 한다.
• 프레임워크는 계층적이고 미분 가능한 표현 방식이 자동에코딩 및 적대적 훈련 모두에 효과적으로 학습되고 적용될 수 있음을 입증한다.