[논문 리뷰] An Acceleration Framework for High Resolution Image Synthesis

Jinlin Liu, Yuan Yao외 1명|arXiv (Cornell University)|2019. 09. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 고해상도 이미지 합성을 가속화하기 위해 이미지를 작은 잠재 코드로 압축하는 인코더-디코더를 훈련시켜 생성기의 훈련을 전체 해상도 이미지가 아닌 이러한 압축된 표현에서 수행하도록 하는 이단계 GAN 프레임워크를 제안한다. 이 방법은 훈련 시간을 최대 80% 감소시키며, FID 점수를 향상시켜 단일 NVIDIA P100 GPU를 사용해 1024×1024 해상도 이미지 생성을 단 3일 만에 수행한다.

ABSTRACT

Synthesis of high resolution images using Generative Adversarial Networks (GANs) is challenging, which usually requires numbers of high-end graphic cards with large memory and long time of training. In this paper, we propose a two-stage framework to accelerate the training process of synthesizing high resolution images. High resolution images are first transformed to small codes via the trained encoder and decoder networks. The code in latent space is times smaller than the original high resolution images. Then, we train a code generation network to learn the distribution of the latent codes. In this way, the generator only learns to generate small latent codes instead of large images. Finally, we decode the generated latent codes to image space via the decoder networks so as to output the synthesized high resolution images. Experimental results show that the proposed method accelerates the training process significantly and increases the quality of the generated samples. The proposed acceleration framework makes it possible to generate high resolution images using less training time with limited hardware resource. After using the proposed acceleration method, it takes only 3 days to train a 1024 *1024 image generator on Celeba-HQ dataset using just one NVIDIA P100 graphic card.

연구 동기 및 목표

• 고해상도 이미지(예: 1024×1024)에서 GAN을 훈련하기 위해 요구되는 높은 계산 비용과 긴 훈련 시간을 해결한다.
• 표본 품질을 손상시키지 않은 채 고해상도 이미지 생성을 위한 메모리 및 하드웨어 요구량을 줄인다.
• 큰 이미지가 아닌 작은 잠재 코드의 분포를 학습하여 훈련 안정성을 향상시킨다.
• 이미지 압축과 생성을 분리함으로써 제한된 하드웨어(예: 단일 고성능 GPU)에서도 효율적인 훈련을 가능하게 한다.

제안 방법

• 고해상도 이미지를 압축된 잠재 코드로 매핑하기 위해 완전 컨volutional 인코더-디코더 네트워크를 훈련한다(예: 1024×1024 이미지에 대해 h/4 × w/4 × 16).
• 저해상도 이미지에서 사전 훈련한 후 인코더와 디코더 파라미터를 고정하여 각 데이터셋에 대해 재훈련할 필요가 없도록 한다.
• 랜덤 노이즈에서 잠재 코드를 생성하기 위해 별도의 생성기 네트워크를 훈련시고, 이를 통해 압축 표현의 분포를 학습한다.
• 사전 훈련된 디코더 네트워크를 사용해 생성된 잠재 코드를 고해상도 이미지로 디코딩한다.
• 표준 GAN과 동일한 판별기와 손실 함수를 사용하지만, 원본 픽셀 대신 잠재 코드에 적용한다.
• 실제 이미지에서 유도된 잠재 코드를 기반으로 코드 생성기를 훈련시켜 안정적이고 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성기나 판별기 아키텍처를 수정하지 않고도 고해상도 GAN의 훈련 효율성을 크게 향상시킬 수 있는가?
• RQ2 전체 이미지가 아닌 압축된 잠재 코드를 생성하는 것이 훈련 안정성 향상과 더 빠른 수렴을 이끌어내는가?
• RQ3 제안된 프레임워크는 제한된 하드웨어 자원을 사용하면서 훈련 시간과 FID 점수를 어느 정도 감소시킬 수 있는가?
• RQ4 사전 훈련된 인코더-디코더는 미세조정 없이 다양한 데이터셋 간에 전이 가능하며, 성능을 유지할 수 있는가?

주요 결과

• 제안된 프레임워크를 사용해 CelebA-HQ에서 1024×1024 GAN 생성기를 단일 NVIDIA P100 GPU로 훈련하는 데 3일이면 충분하며, 이는 이전 방법 대비 14~41일에 비해 극적으로 단축된 것이다.
• 1024×1024 이미지 생성의 FID 점수가 기준선(54.83)에서 가속화 후 14.80으로 하락하여 품질 향상이 뚜렷하게 나타났다.
• 512×512 해상도에서도 FID 점수가 30.43에서 14.72로 감소하여 다양한 해상도에서 일관된 성능 향상이 확인되었다.
• 에포크당 훈련 시간이 기준선(225분)에서 h/4×w/4×16 코드 크기 기준 45분으로 감소하여 4배의 가속도를 달성했다.
• 더 작은 코드 크기(예: h/16×w/16×16)를 사용할 경우 FID는 여전히 낮게 유지되며(22.12), 에포크당 훈련 시간은 9분으로 감소했다.
• LSUN과 같은 다른 데이터셋에도 일반화 가능하며, 가속화 후 침실 이미지의 FID는 38.32에서 17.90으로, 교회 이미지의 FID는 30.99에서 21.91로 감소했다.