[논문 리뷰] Improved Vector Quantized Diffusion Models

Zhicong Tang, Shuyang Gu외 3명|arXiv (Cornell University)|2022. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 23

한 줄 요약

본 논문은 이산 분류기-프리 가이던스(discrete classifier-free guidance)와 고품질 추론 전략을 도입하여 텍스트-이미지 생성에서 VQ-Diffusion의 포스터리어 및 결합 분포 문제를 해결하고 여러 데이터셋에서 최첨단 FID를 달성한다.

ABSTRACT

Vector quantized diffusion (VQ-Diffusion) is a powerful generative model for text-to-image synthesis, but sometimes can still generate low-quality samples or weakly correlated images with text input. We find these issues are mainly due to the flawed sampling strategy. In this paper, we propose two important techniques to further improve the sample quality of VQ-Diffusion. 1) We explore classifier-free guidance sampling for discrete denoising diffusion model and propose a more general and effective implementation of classifier-free guidance. 2) We present a high-quality inference strategy to alleviate the joint distribution issue in VQ-Diffusion. Finally, we conduct experiments on various datasets to validate their effectiveness and show that the improved VQ-Diffusion suppresses the vanilla version by large margins. We achieve an 8.44 FID score on MSCOCO, surpassing VQ-Diffusion by 5.42 FID score. When trained on ImageNet, we dramatically improve the FID score from 11.89 to 4.83, demonstrating the superiority of our proposed techniques.

연구 동기 및 목표

• 텍스트-이미지 합성을 위한 VQ-Diffusion의 품질 격차를 동기 부여하고 해소한다.
• 입력 조건과의 정렬을 강제하기 위한 이산 분류기-프리 가이던스 메커니즘을 개발한다.
• 샘플링 중 결합 분포 문제를 식별하고 고품질 추론 전략으로 완화한다.
• MSCOCO, CC, CUB-200, ImageNet 등을 포함한 다수 데이터셋에서 개선점을 검증한다.
• 복제 및 추가 연구를 가능하게 하는 오픈 소스 코드를 제공한다.

제안 방법

• 추론 제약(posterior constraint)을 포함하고 트랙터빌리티를 해치지 않으면서 조건부 생성을 개선하기 위해 이산 분류기-프리 가이던스를 제안한다.
• 출력물을 입력 조건과 더 잘 정렬하기 위해 p(x|y)와 p(y|x)를 결합하는 타깃을 도출 및 구현하고, 학습 가능한 조건부 사전 분포를 포함한다.
• 매 단계에서 샘플링되는 토큰 수를 줄이고 순도(prity) 사전을 사용하여 고신뢰도 토큰으로의 샘플링 편향을 주는 고품질 추론 전략을 도입한다.
• 단계당 샘플링 토큰 수를 줄이는 것이 결합 분포 문제를 완화하고 샘플 품질이 향상됨을 보인다.
• 추론 도중 이산 토큰 분포를 직접 추정하기 위한 재매개변화(reparameterization) 접근법을 활용한다.
• 포스터리어 제약과 결합 분포 완화의 영향을 보여주기 위한 비교실험(ablations)을 포함한 표준 텍스트-이미지 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 이산 분류기-프리 가이던스를 통한 포스터리어 제약 도입이 VQ-Diffusion의 텍스트-이미지 정렬 및 이미지 품질을 향상시키는가?
• RQ2 토큰 수준 독립성을 감소시키고 순도 사전을 사용하는 고품질 추론 전략이 이산 확산 모델의 결합 분포 문제를 완화하는가?
• RQ3 제안된 방법들이 MSCOCO, CC, CUB-200, ImageNet 설정에서 FID, QS, CLIP 점수에 어떤 영향을 미치는가?
• RQ4 학습 가능한 분류기-프리 가이던스가 고정된 널 벡터 조건부보다 더 효과적인가?
• RQ5 개선이 대규모 인터넷 소스 데이터셋(ITHQ-200M) 및 균형 잡힌 CC 하위집합에 일반화되는가?

주요 결과

Dataset / Setting	MSCOCO FID	CUB-200 FID	CC FID	ITHQ-200M FID
VQ-Diffusion	13.86	10.32	33.65	25.87
VQ-Diffusion + prior	13.79	10.21	33.09	25.15

• 이산 분류기-프리 가이던스는 MSCOCO 및 CC에서 기본 VQ-Diffusion 대비 FID 및 품질 점수를 향상시킨다.
• 학습 가능한 분류기-프리 가이던스 벡터가 널 조건부보다 더 나은 성능을 보이며 포스터리어 제약이 더 강하다는 것을 시사한다.
• 고품질 추론은 추론 단계가 학습 단계보다 많아질 때 샘플링을 개선하고, 단계 수가 늘어날수록 명확한 이득을 보인다.
• 순도 사전 샘플링은 추가 학습이나 추론 비용 없이 MSCOCO, CUB-200, CC, 및 ITHQ-200M에서 FID 이득을 창출한다.
• MSCOCO에서 개선된 VQ-Diffusion은 8.44 FID를 달성하며 기본 VQ-Diffusion보다 5.42 감소; ImageNet에서 제안 방법으로 FID가 11.89에서 4.83으로 개선된다.
• 이 방법은 여러 데이터셋에서 기존 수준의 최첨단 성능에 근접한 결과를 얻고 제로샷 또는 경량 미세조정 설정과도 호환된다.