[논문 리뷰] InfinityGAN: Towards Infinite-Resolution Image Synthesis.

Chieh Hubert Lin, Hsin-Ying Lee외 3명|arXiv (Cornell University)|2021. 04. 08.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

InfinityGAN는 전역적인 구조와 국소적인 텍스처를 동시에 모델링하면서 패치 기반으로 학습하고 추론함으로써, 낮은 계산 비용으로도 임의의 해상도의 이미지 생성이 가능한 패치 기반 생성 적대적 네트워크를 제안한다. 이는 기존의 한계를 뛰어넘는 높은 전역 일관성과 국소 세부 정보를 달성한다.

ABSTRACT

We present InfinityGAN, a method to generate arbitrary-resolution images. The problem is associated with several key challenges. First, scaling existing models to a high resolution is resource-constrained, both in terms of computation and availability of high-resolution training data. Infinity-GAN trains and infers patch-by-patch seamlessly with low computational resources. Second, large images should be locally and globally consistent, avoid repetitive patterns, and look realistic. To address these, InfinityGAN takes global appearance, local structure and texture into account.With this formulation, we can generate images with resolution and level of detail not attainable before. Experimental evaluation supports that InfinityGAN generates imageswith superior global structure compared to baselines at the same time featuring parallelizable inference. Finally, we how several applications unlocked by our approach, such as fusing styles spatially, multi-modal outpainting and image inbetweening at arbitrary input and output resolutions

연구 동기 및 목표

• 고해상도 이미지 생성기 학습 시 계산 및 데이터 제약을 극복하기 위해.
• 거대한 훈련 데이터셋이나 과도한 계산 자원 없이도 원활한 고해상도 이미지 생성을 가능하게 하기 위해.
• 임의의 해상도에서 생성된 이미지의 전역 일관성과 국소 텍스처의 현실감을 유지하기 위해.
• 다양한 모odal의 확장(Outpainting) 및 중간 이미지 생성(Inbetweening)과 같은 새로운 응용 분야를 지원하기 위해.

제안 방법

• InfinityGAN는 추론 시 패치 단위로 이미지 생성을 수행함으로써, 각 이미지 생성에 소요되는 계산 부담을 감소시킨다.
• 패치 간의 일관성을 확보하기 위해 전역적인 외관과 국소적인 구조/텍스처를 함께 모델링한다.
• 생성 과정에서 공간적 일관성을 유지하는 패치 기반 GAN 프레임워크를 사용한다.
• 독립적인 패치 연산으로 나누어 이미지 생성을 분리함으로써, 병렬 처리 가능한 추론을 가능하게 한다.
• 확장 가능한 패치 조합을 통해 임의의 출력 해상도를 지원하는 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 자원으로도 GAN 기반 모델이 전역적인 구조 일관성과 세밀한 국소 세부 정보를 갖춘 고해상도 이미지를 생성할 수 있는가?
• RQ2 패치 기반 생성 방식은 반복적인 패tern 없이 큰 이미지 전반에 걸쳐 전역 일관성을 유지할 수 있는가?
• RQ3 이미지 생성 과업에서 모델이 입력 및 출력 해상도를 임의로 지원할 수 있는 정도는 어느 정도인가?
• RQ4 무한해상도 생성을 통해 어떤 새로운 이미지 생성 응용 분야가 실현 가능해지는가?

주요 결과

• 동일한 해상도에서 기존의 기준 모델들과 비교해 InfinityGAN는 더 뛰어난 전역적 구조 일관성을 확보한다.
• 모델은 병렬 처리 가능한 추론을 지원하여, 이미지 생성 시간을 크게 단축시킨다.
• 기존 방법의 한계를 뛰어넘어 고해상도 이미지 생성을 가능하게 하며, 더 뛰어난 주관적 품질을 제공한다.
• 공간적 스타일 융합, 다중모달 확장, 이미지 중간 생성과 같은 새로운 응용 분야가 임의의 해상도에서 성공적으로 구현되었다.