[논문 리뷰] Creating High Resolution Images with a Latent Adversarial Generator

David Berthelot, Peyman Milanfar외 1명|arXiv (Cornell University)|2020. 03. 04.

Advanced Image Processing Techniques참고 문헌 15인용 수 10

한 줄 요약

이 논문은 단일 인지 잠재 공간을 학습함으로써 저해상도 입력에서 고해상도 이미지를 생성하는 새로운 방법인 잠재 적대적 생성기(Latent Adversarial Generator, LAG)를 소개한다. 단일 출력으로 회귀하는 대신, LAG는 잠재 노이즈 벡터를 사용하여 다양한 인지적으로 현실적인 고해상도 이미지를 샘플링하며, 수동적 손실 가중치나 픽셀 수준의 감독 없이도 최신 기술 수준의 시각적 품질을 달성한다.

ABSTRACT

Generating realistic images is difficult, and many formulations for this task have been proposed recently. If we restrict the task to that of generating a particular class of images, however, the task becomes more tractable. That is to say, instead of generating an arbitrary image as a sample from the manifold of natural images, we propose to sample images from a particular "subspace" of natural images, directed by a low-resolution image from the same subspace. The problem we address, while close to the formulation of the single-image super-resolution problem, is in fact rather different. Single image super-resolution is the task of predicting the image closest to the ground truth from a relatively low resolution image. We propose to produce samples of high resolution images given extremely small inputs with a new method called Latent Adversarial Generator (LAG). In our generative sampling framework, we only use the input (possibly of very low-resolution) to direct what class of samples the network should produce. As such, the output of our algorithm is not a unique image that relates to the input, but rather a possible se} of related images sampled from the manifold of natural images. Our method learns exclusively in the latent space of the adversary using perceptual loss -- it does not have a pixel loss.

연구 동기 및 목표

• 픽셀 수준의 복원 손실이 필요 없이 저해상도 입력에서 다양한 고해상도 이미지를 생성하는 것.
• 단일 지표값 출력을 최적화하는 대신, 인지 잠재 공간에서 샘플링하는 방식으로 이미지 생성을 모델링하는 것.
• 인지 및 적대적 손실의 수동 하이퍼파rameter 튜닝이 필요 없도록 통합된 잠재 공간을 학습함으로써 이를 제거하는 것.
• 입력 해상도와 노이즈가 생성된 이미지의 다양성과 품질에 미치는 영향을 탐색하는 것.
• 명시적인 손실 가중치 없이도 단일 인지 잠재 공간이 인지적 정확성과 선명함을 암묵적으로 균형 잡는 방식으로 작용할 수 있음을 보여주는 것.

제안 방법

• 생성기 G는 저해상도 이미지 y와 잠재 노이즈 벡터 z ~ N(0,1)을 입력으로 받아 고해상도 이미지 x_z를 생성한다.
• 비평가 C는 인지 잠재 공간 P로의 투영 P와 분류기 F로 분해되며, C = F(P(x,y;φ);ψ)로 표현된다.
• 비평가의 1-Lipschitz 연속성을 강제하기 위해 기울기 보정을 포함한 워샤프-GAN 목표 함수를 사용하여 모델을 훈련한다.
• 인지 잠재 공간 P는 적대적 훈련을 통해 엔드 투 엔드로 학습되며, 별도의 인지나 콘텐츠 손실이 필요 없어진다.
• 생성기는 인지적으로 현실적이면서도 입력 이미지의 의미적 콘텐츠와 일관성을 유지하는 이미지를 생성하도록 훈련된다.
• 이미지의 다양성은 잠재 변수 z를 통해 제어되며, 입력에 노이즈를 주입함으로써 가능한 고해상도 이미지의 다양체를 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 고해상도 이미지 생성에서 다수의 수동 가중 손실(예: 픽셀, 인지, 적대적)이 필요 없이 단일 인지 잠재 공간이 이를 대체할 수 있는가?
• RQ2 입력 이미지의 크기가 생성된 고해상도 출력의 다양성에 어떤 영향을 미치는가?
• RQ3 거꾸로 뒤집힌 또는 노이즈가 섞인 저해상도 입력이 주어졌을 때 모델이 일관되고 의미적으로 일관된 고해상도 이미지를 생성할 수 있는가?
• RQ4 픽셀 수준의 복원 손실이 없는 것이 기존 슈퍼해상도 방법에 비해 더 뛰어난 인지적 품질을 낼 수 있는가?
• RQ5 실제성에 영향을 주지 않으면서도 잠재 노이즈와 입력 변형이 생성된 이미지의 다양성을 얼마나 제어할 수 있는가?

주요 결과

• LAG 모델은 명시적 픽셀 또는 콘텐츠 손실 항목 없이도 다양한 인지적으로 현실적인 세부 사항을 가진 고해상도 이미지를 생성한다.
• 모델은 거꾸롭게 뒤집힌 입력에서 강력한 일관성을 유지하며, 변환 간 의미적 일관성을 보여준다.
• 고정된 z=0 상태에서도 저해상도 입력에 노이즈를 추가함으로써 다양한 가능한 고해상도 출력을 생성할 수 있으며, 입력의 변형에 대해 뛰어난 내성성을 보인다.
• 수동 손실 균형 조정이나 훈련 불안정성 없이도 최신 기술 수준의 GAN 기반 슈퍼해상도 모델과 비교해 높은 시각적 품질을 달성한다.
• 인지 잠재 공간은 인지적 정확성과 선명함을 암묵적으로 균형 잡으며, 현실적이면서도 다양한 이미지를 생성한다.
• 극단적인 입력 저해상도화(예: 8× 및 16×)에 대해 매우 강건하며, 매우 낮은 해상도 입력에서도 가능한 고해상도 이미지를 생성할 수 있다.