[논문 리뷰] Megapixel Size Image Creation using Generative Adversarial Networks

Marco Marchesi|arXiv (Cornell University)|2017. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 38

한 줄 요약

이 논문은 제한된 데이터셋(2,000장 미만)에서부터 1024×1024 픽셀에 이르는 초고해상도 사진처럼 보이는 이미지를 생성하는 수정된 DCGAN 프레임워크를 제안한다. 최적화된 학습 동역학과 제약된 잠재공간 노이즈를 통해 잡음과 모드 붕괴, 발산을 줄인다.

ABSTRACT

Since its appearance, Generative Adversarial Networks (GANs) have received a lot of interest in the AI community. In image generation several projects showed how GANs are able to generate photorealistic images but the results so far did not look adequate for the quality standard of visual media production industry. We present an optimized image generation process based on a Deep Convolutional Generative Adversarial Networks (DCGANs), in order to create photorealistic high-resolution images (up to 1024x1024 pixels). Furthermore, the system was fed with a limited dataset of images, less than two thousand images. All these results give more clue about future exploitation of GANs in Computer Graphics and Visual Effects.

연구 동기 및 목표

• 2,000장 이하의 제한된 데이터셋을 사용하여 고해상도, 사진처럼 보이는 이미지를 생성하는 데 도전한다.
• 이전까지 달성되지 못했던 1024×1024 픽셀의 초고해상도 이미지 생성에 있어 GAN의 학습 불안정성을 극복한다.
• 제한된 학습 데이터와 높은 해상도에도 불구하고 생성된 이미지의 잡음과 모드 붕괴를 최소화한다.
• 상업적 시각 미디어 제작에서 실용적으로 활용할 수 있도록 사진처럼 보이는 품질과 안정성을 확보한다.

제안 방법

• 해상도에 따라 변동하는 배치 크기를 사용하여 Tensorflow 기반의 딥 컨volution GAN(DCGAN)을 구현한다.
• 교차로 학습 업데이트를 적용하여 50단계마다 생성기와 판별기를 번갈아가며 업데이트함으로써 손실 안정성과 발산 방지를 확보한다.
• 잠재공간 노이즈 입력을 [-0.5, 0.5] 범위의 균일분포로 제약하여 [-1.0, 1.0] 범위보다 잡음이 줄어든다.
• 잡지 및 소셜미디어에서 확보한 여성 얼굴 이미지 1,796~1,807장의 데이터셋을 사용하며, 이 중 70%는 512×512 픽셀 이하의 이미지다.
• 메모리 사용을 최적화하기 위해 128(192×192 픽셀용)에서 6(1024×1024 픽셀용)로 배치 크기를 조정한 NVIDIA Pascal Titan X GPU를 단일 장치로 사용한다.
• 진행적 학습 전략을 적용하여 192×192 픽셀부터 시작해 1024×1024 픽셀까지 점진적으로 이미지를 생성하며, 고해상도 생성을 지원하는 아키텍처 설계를 한다.

실험 결과

연구 질문

• RQ1 2,000장 이하의 데이터셋을 사용하여 GAN 모델이 1024×1024 픽셀의 초고해상도 사진처럼 보이는 이미지를 생성할 수 있는가?
• RQ2 제한된 데이터로 고해상도 이미지 생성에 확장할 때 학습 발산을 방지하는 방법은 무엇인가?
• RQ3 잠재공간 노이즈 분포를 제약함으로써 생성된 이미지의 잡음은 어느 정도 감소하는가?
• RQ4 교차로 학습 업데이트가 고해상도 GAN 학습 중 생성기와 판별기의 손실을 안정화시키는 데 얼마나 효과적인가?

주요 결과

• 모델은 성공적으로 1024×1024 픽셀의 사진처럼 보이는 이미지를 생성하였으며, 이는 제한된 데이터셋을 사용한 GAN로써 처음으로 달성된 초고해상도 해상도이다.
• 제약된 잠재공간 노이즈 범위 [-0.5, 0.5]를 사용함으로써 기존의 표준 범위 [-1.0, 1.0] 대비 시각적 잡음이 크게 감소하였다.
• 50단계마다 번갈아가며 업데이트하는 전략으로 손실 함수가 안정화되었으며, 모든 해상도에서 loss(D) < 1 및 loss(G) < 3를 유지하면서 발산 없이 학습이 진행되었다.
• 데이터셋의 70%가 512×512 픽셀 이하의 이미지였음에도 불구하고, 업샘플링과 생성 학습을 통해 고해상도 세부 정보를 효과적으로 학습하였다.
• 단일 NVIDIA Pascal Titan X에서 안정적인 학습을 달성하여, 제한된 GPU 메모리로도 고해상도 GAN의 구현 가능성을 입증하였다.
• 이러한 접근법은 상업적 시각 미디어 제작에 적합한 이미지를 생성하였으며, 산업 표준 수준의 사진처럼 보이는 품질과 정확도를 충족시켰다.