[논문 리뷰] Comparative Analysis of Generative Models: Enhancing Image Synthesis with VAEs, GANs, and Stable Diffusion

Sanchayan Vivekananthan|arXiv (Cornell University)|2024. 08. 16.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

본 논문은 이미지 합성을 위해 VAE, GAN, Stable Diffusion을 비교하고 Grounding DINO 및 Grounded SAM이 Stable Diffusion의 인페인팅(inpainting)과 세그멘테이션을 어떻게 개선하는지 살펴본다.

ABSTRACT

This paper examines three major generative modelling frameworks: Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs), and Stable Diffusion models. VAEs are effective at learning latent representations but frequently yield blurry results. GANs can generate realistic images but face issues such as mode collapse. Stable Diffusion models, while producing high-quality images with strong semantic coherence, are demanding in terms of computational resources. Additionally, the paper explores how incorporating Grounding DINO and Grounded SAM with Stable Diffusion improves image accuracy by utilising sophisticated segmentation and inpainting techniques. The analysis guides on selecting suitable models for various applications and highlights areas for further research.

연구 동기 및 목표

• 이미지 합성을 위한 Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs), 및 Stable Diffusion의 강점과 한계를 평가한다.
• 확산 기반 접근법이 VAEs의 흐림 현상과 GANs의 모드 붕괴, 불안정성 문제를 어떻게 해결하는지 평가한다.
• Grounding DINO 및 Grounded SAM을 Stable Diffusion과 결합했을 때 세그멘테이션, 인페인팅 및 맥락 일관성이 어떻게 향상되는지 탐구한다.

제안 방법

• 재매개화 트릭(reparameterization trick)을 가진 잠재 공간 인코더/디코더로서의 VAE를 설명하고, 그들의 흐림(blurriness)과 후방 붕괴(posterior collapse)에 대해 논의한다.
• 생성기-판별기 적대적 학습으로 구성된 GANs를 개략하고 모드 붕괴 및 학습 불안정성에 대해 논의한다.
• VAE, U-Net, 및 텍스트 인코더를 이용한 확산 기반 파이프라인으로서의 Stable Diffusion을 설명하여 고해상도이고 의미적으로 일관된 이미지를 생성한다.
• 정밀한 세그멘테이션과 맥락 인식 인페인팅을 가능하게 하기 위해 Grounding DINO 및 Grounded SAM의 Stable Diffusion과의 통합을 논의한다.

Figure 1: Variational Auto Encoder(VAE) architecture.

실험 결과

연구 질문

• RQ1 이미지 합성을 위한 VAE, GAN, Stable Diffusion의 비교적 장점과 한계는 무엇인가?
• RQ2 Grounding DINO 및 Grounded SAM의 세그멘테이션 및 인페인팅 통합에 따라 Stable Diffusion의 성능은 어떻게 변하는가?
• RQ3 품질, 다양성, 계산 요구사항의 트레이드오프를 고려할 때 각 생성 프레임워크에 적합한 응용 분야는 무엇인가?

주요 결과

• VAE는 효율적인 잠재 공간 표현을 제공하지만 종종 흐릿한 재구성 및 후방 붕괴 위험이 있다.
• GAN은 고품질의 사실적인 이미지를 제공하지만 모드 붕괴, 불안정한 학습, 높은 계산 비용의 문제를 겪는다.
• Stable Diffusion은 고해상도이고 다양하며 의미적으로 일관된 이미지를 제공하지만 추론 중 계산 집약적이고 시간이 많이 소요된다.
• Grounding DINO 및 Grounded SAM과 Stable Diffusion의 통합은 세그멘테이션 정확도와 맥락 인페인팅을 향상시키지만 복잡성과 자원 소요가 증가한다.
• 논의는 모델 선택이 응용 시나리오의 필요에 부합해야 하며 품질, 다양성 및 계산상의 고려를 균형 있게 맞춰야 한다고 강조한다.

Figure 2: Generative Adversarial Network (GAN) Architecture