[논문 리뷰] ExSinGAN: Learning an Explainable Generative Model from a Single Image

Zicheng Zhang, Congying Han외 1명|arXiv (Cornell University)|2021. 05. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 8

한 줄 요약

ExSinGAN은 세 가지 모듈형 GAN(구조 GAN, 의미 GAN, 텍스처 GAN)을 통해 내부 패치 통계와 외부 사전 지식을 결합함으로써 단일 이미지에서 계층적이고 해석 가능한 생성 모델을 제안한다. GAN 역전환을 통한 구조적 지도와 사전 훈련된 분류기를 통한 의미적 지시를 통합함으로써, 특히 복잡한 장면과 큰 물체에서 SinGAN에 비해 더 뛰어난 이미지 합성 및 일반화 성능을 달성한다.

ABSTRACT

Generating images from a single sample, as a newly developing branch of image synthesis, has attracted extensive attention. In this paper, we formulate this problem as sampling from the conditional distribution of a single image, and propose a hierarchical framework that simplifies the learning of the intricate conditional distributions through the successive learning of the distributions about structure, semantics and texture, making the process of learning and generation comprehensible. On this basis, we design ExSinGAN composed of three cascaded GANs for learning an explainable generative model from a given image, where the cascaded GANs model the distributions about structure, semantics and texture successively. ExSinGAN is learned not only from the internal patches of the given image as the previous works did, but also from the external prior obtained by the GAN inversion technique. Benefiting from the appropriate combination of internal and external information, ExSinGAN has a more powerful capability of generation and competitive generalization ability for the image manipulation tasks compared with prior works.

연구 동기 및 목표

• 복잡한 단일 이미지, 특히 큰 또는 복잡한 물체를 포함한 경우에서 SinGAN의 생성 가능성에 한계가 있음을 해결하기 위해.
• 명시적 지도를 포함한 구조적이고 계층적인 학습을 도입함으로써 단일 이미지 생성 모델의 해석 가능성과 제어 가능성 향상.
• 내부 패치 기반 학습과 GAN 역전환 및 사전 훈련된 분류기에서 유도된 외부 생성 사전 지식을 결합함으로써 생성 품질과 일반화 능력 향상.
• 이미지 편집, 조화, 페인팅에서 이미지로의 변환과 같은 후행 이미지 편집 작업에서의 강력한 성능 확보.

제안 방법

• ExSinGAN은 세 단계의 모듈형 GAN 프레임워크를 사용한다: 구조 GAN, 의미 GAN, 텍스처 GAN으로, 거칠기부터 세밀한 세부 사항까지 순차적으로 생성한다.
• 구조 GAN은 입력 이미지에서 구조적 사전 지식을 추출하고 지도함으로써 일관된 레이아웃 생성을 보장한다.
• 의미 GAN은 사전 훈련된 분류기(예: VGG-19)를 활용하여 생성된 레이아웃에 의미적으로 유의미한 특징을 삽입한다.
• 텍스처 GAN은 사전 훈련된 네트워크에서 유도된 인지적 손실을 사용하여 고주파 텍스처 세부 정보를 보완한다.
• 훈련 중에 입력 이미지의 내부 패치 통계와 GAN 역전환에서 유도된 외부 사전 지식을 모두 활용하여 생성 안정성과 품질 향상.
• 해상도 단계를 점진적으로 증가시키는 전진 훈련 전략을 사용하며, 각 단계는 이전 단계를 기반으로 구축되어 안정성과 품질 향상.

실험 결과

연구 질문

• RQ1 외부 구조적 및 의미적 사전 지식을 통합함으로써 순수 내부 학습에 비해 단일 이미지 생성의 품질과 제어 가능성 향상 여부는 어떻게 되는가?
• RQ2 ExSinGAN의 모듈형 설계—즉, 구조, 의미, 텍스처 학습을 분리함으로써 해석 가능성과 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 내부 패치 통계와 외부 생성 사전 지식을 결합함으로써 이미지 편집, 페인팅에서 이미지로의 변환과 같은 작업에서의 일반화 능력 향상 정도는 어느 정도인가?
• RQ4 품질과 계산 비용의 균형을 고려할 때 ExSinGAN에서 최적의 네트워크 깊이(N)와 인지적 손실 레이어 수(n)는 무엇인가?
• RQ5 사전 훈련된 분류기와 GAN 역전환을 사용함으로써 의미 일관성이 향상되며, 특히 복잡한 장면에서의 생성 이미지 품질 향상 여부는 어떻게 되는가?

주요 결과

• Qualitative 비교에서 복잡한 장면과 큰 물체에서 ExSinGAN이 SinGAN보다 더 현실적이고 맥락적으로 일관된 이미지를 생성하는 것으로 확인되었다.
• Ablation study 결과, 구조 GAN은 타당한 레이아웃 생성에 필수적이며, 의미 GAN은 현실성과 세부 사항의 정확도를 향상시킨다.
• BigGAN의 판별기로 인지적 손실을 사용할 경우 VGG-19와 유사한 성능을 달성함을 확인하여, 다양한 사전 훈련된 네트워크가 의미 생성을 효과적으로 지도할 수 있음을 시사한다.
• 최적의 인지적 손실 레이어 수(n)는 3으로 확인되었으며, 이를 초과하면 과적합과 과도한 픽셀 수준의 지도로 인해 아티팩트가 발생함을 확인하였다.
• 단계 수(N)를 늘릴수록 이미지 품질 향상이 이루어지지만 수익 감소와 함께 계산 비용 증가를 동반하며, N=9는 N=5에 비해 약 두 배의 시간 소요됨.
• ExSinGAN은 이미지 편집 작업에서 경쟁적인 성능을 달성하였으며, 페인팅에서 이미지로의 변환 및 이미지 조화 작업에서 더 현실적인 텍스처를 생성하고 구조적 세부 정보를 더 잘 유지하며 SinGAN을 능가한다.