[논문 리뷰] Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion

Cyprien Ruffino, Romain Hérault외 2명|arXiv (Cornell University)|2020. 02. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 9

한 줄 요약

이 논문은 GAN의 목적함수에 L2 재구성 손실을 추가하여 흩어진 입력 픽셀의 정밀한 재구성을 강제하는 픽셀 단위 조건부 GAN을 제안한다. 이 방법은 표준 CGAN보다 뛰어난 제약 충족도를 달성하면서도 높은 이미지 품질과 다양성을 유지하며, FashionMNIST, CIFAR-10, CelebA 및 PacGAN 정규화를 사용한 지질학적 시뮬레이션 작업에서 검증되었다.

ABSTRACT

Generative Adversarial Networks (GANs) have proven successful for unsupervised image generation. Several works have extended GANs to image inpainting by conditioning the generation with parts of the image to be reconstructed. Despite their success, these methods have limitations in settings where only a small subset of the image pixels is known beforehand. In this paper we investigate the effectiveness of conditioning GANs when very few pixel values are provided. We propose a modelling framework which results in adding an explicit cost term to the GAN objective function to enforce pixel-wise conditioning. We investigate the influence of this regularization term on the quality of the generated images and the fulfillment of the given pixel constraints. Using the recent PacGAN technique, we ensure that we keep diversity in the generated samples. Conducted experiments on FashionMNIST show that the regularization term effectively controls the trade-off between quality of the generated images and the conditioning. Experimental evaluation on the CIFAR-10 and CelebA datasets evidences that our method achieves accurate results both visually and quantitatively in term of Fr\\'echet Inception Distance, while still enforcing the pixel conditioning. We also evaluate our method on a texture image generation task using fully-convolutional networks. As a final contribution, we apply the method to a classical geological simulation application.

연구 동기 및 목표

• 사전에 알려진 픽셀 값이 매우 적은 경우 이미지 생성 문제를 해결하기 위해, 기존 GAN과 CGAN이 어려움을 겪는 설정을 대응한다.
• 재구성 손실을 통해 픽셀 단위 조건부를 명시적으로 모델링하여 이미지 생성의 제약 충족도를 향상시킨다.
• 강한 조건부 설정에도 불구하고 생성 샘플의 높은 다양성을 유지하여 모드 붕괴를 방지한다.
• 실제 지질학적 시뮬레이션 작업과 같은 다양한 데이터셋에서 방법을 평가한다.
• 제안된 정규화 기법이 이미지 품질과 제약 충족도 사이의 트레이드오프를 효과적으로 제어할 수 있음을 보여준다.

제안 방법

• 모방된 GAN 목적함수를 도입하여, 적대적 손실과 알려진 픽셀에 대한 L2 재구성 손실을 결합하며, 이를 정규화 항으로 기능시킨다.
• 가우스 분포를 가정한 조건부 분포를 최대화함으로써, 생성된 이미지에 대해 알려진 픽셀의 로그우도를 극대화한다.
• 생성 샘플의 다양성을 유지하기 위해 PacGAN 기법을 사용하며, 특히 잠재 코드가 동일한 출력을 생성할 경우에 중요하다.
• 완전 컨volution 네트워크(예: UNetResPAC)를 활용하여 고해상도 이미지와 복잡한 질감으로의 확장성을 확보한다.
• 표준 이미지 데이터셋(CIFAR-10, CelebA)과 공간 패턴 제약 조건이 있는 실제 지질학적 시뮬레이션 작업에 모두 이 프레임워크를 적용한다.
• 스토하스틱 경사하강법을 사용하여 연합 목적함수를 최적화하며, 적대적 손실과 재구성 손실 사이의 트레이드오프를 제어하는 하이퍼파rameter λ를 사용한다.

실험 결과

연구 질문

• RQ1 소수의 산발적인 픽셀 값에만 기반하여 효과적으로 조건부 지정된 GAN이 고해상도 이미지 품질을 유지할 수 있는가?
• RQ2 픽셀 단위 재구성 손실을 추가함으로써 이미지 충실도와 제약 충족도 사이의 균형은 어떻게 영향을 받는가?
• RQ3 희소하고 국소화되지 않은 픽셀 제약 조건에 대해 제안된 방법이 생성 샘플의 다양성을 유지하는가?
• RQ4 이 방법은 공간 패턴 일관성이 요구되는 지속적인 실제 응용 분야, 예를 들어 지질학적 이미지 시뮬레이션에 일반화될 수 있는가?
• RQ5 정규화 하이퍼파rameter λ는 시각적 품질과 제약 정확도 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• FashionMNIST에서, 정규화 파rameter λ를 통해 이미지 품질과 제약 충족도 사이의 트레이드오프를 성공적으로 제어할 수 있었다.
• CIFAR-10에서, 제안된 방법은 Fréchet Inception Distance(FID) 3.120과 MSE 0.010을 달성했으며, CGAN의 MSE 0.081보다 제약 충족도가 뛰어나면서도 FID 측면에서 경쟁력 있는 성능을 보였다.
• CelebA에서, 제안된 방법은 MSE 0.0053(CGAN의 0.0209 대비)와 FID 2.09e-4(CGAN의 1.34e-4 대비)를 달성하여 우수한 제약 충족도를 입증했다.
• 지하 지질학적 데이터셋에서, MSE 0.0325와 HOG 거리 4.31e-4를 달성하여 강력한 제약 준수 능력과 함께 유지된 시각적 품질을 보였다.
• PacGAN의 사용으로 인해 모드 붕괴가 방지되었으며, 잠재 코드가 약간 다를 경우에도 다양한 샘플 생성이 보장되었다.
• 시각적 평가 결과, 생성된 샘플이 주어진 픽셀 제약 조건을 준수하면서도 현실적인 질감과 공간 패턴을 유지하고 있음을 확인했으며, 특히 지질학적 시뮬레이션 예시에서 뚜렷하게 드러났다.