[论文解读] High-Quality Pluralistic Image Completion via Code Shared VQGAN

Chuanxia Zheng, Guoxian Song+4 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 Code Shared VQGAN，一种新颖的高保真多义图像补全框架，通过利用紧凑而富有表现力的离散潜在代码表示，实现快速的非自回归生成。通过在空间位置间共享代码，并在离散代码空间中使用 Transformer 模型，该方法的推理速度比基于 iGPT 的自回归方法快 100 多倍，同时在基准数据集上的图像质量和多样性方面显著优于当前最先进方法。

ABSTRACT

PICNet pioneered the generation of multiple and diverse results for image completion task, but it required a careful balance between $\mathcal{KL}$ loss (diversity) and reconstruction loss (quality), resulting in a limited diversity and quality . Separately, iGPT-based architecture has been employed to infer distributions in a discrete space derived from a pixel-level pre-clustered palette, which however cannot generate high-quality results directly. In this work, we present a novel framework for pluralistic image completion that can achieve both high quality and diversity at much faster inference speed. The core of our design lies in a simple yet effective code sharing mechanism that leads to a very compact yet expressive image representation in a discrete latent domain. The compactness and the richness of the representation further facilitate the subsequent deployment of a transformer to effectively learn how to composite and complete a masked image at the discrete code domain. Based on the global context well-captured by the transformer and the available visual regions, we are able to sample all tokens simultaneously, which is completely different from the prevailing autoregressive approach of iGPT-based works, and leads to more than 100$ imes$ faster inference speed. Experiments show that our framework is able to learn semantically-rich discrete codes efficiently and robustly, resulting in much better image reconstruction quality. Our diverse image completion framework significantly outperforms the state-of-the-art both quantitatively and qualitatively on multiple benchmark datasets.

研究动机与目标

• 解决多义图像补全中图像质量与多样性之间的权衡问题。
• 克服 iGPT 等自回归模型在图像生成任务中推理速度缓慢的缺陷。
• 通过紧凑的离散潜在表示，实现在效率上同时采样多种图像补全结果。
• 提升生成图像补全结果的重建保真度与语义丰富性。
• 在定量指标与定性多样性方面均实现最先进性能。

提出的方法

• 在 VQGAN 中引入代码共享机制，以构建紧凑而富有表现力的离散潜在表示。
• 将图像表示为基于空间位置间共享代码本的离散代码本空间中的向量。
• 直接在离散代码标记上操作的 Transformer 模型，用于建模全局上下文并引导补全过程。
• 实现非自回归、并行采样所有代码标记，极大加速推理过程。
• 利用丰富且具有语义意义的代码，提升重建质量与多样性。
• 通过共享代码本与基于 Transformer 的补全网络，联合优化重建与多样性目标。

实验结果

研究问题

• RQ1 在基于 VQGAN 的框架中，共享代码本表示是否能同时提升图像补全的质量与多样性？
• RQ2 在离散代码空间中采用非自回归采样，与自回归生成相比，在推理速度与质量方面表现如何？
• RQ3 紧凑的离散表示在多大程度上能保留语义丰富性以支持图像补全？
• RQ4 所提出的方法是否能在定量指标与定性多样性方面均超越现有最先进方法？
• RQ5 代码共享机制在处理多样化与复杂图像补全场景时是否具有鲁棒性？

主要发现

• 所提框架的推理速度相比基于 iGPT 的自回归方法快超过 100 倍。
• 在 FID 和 FVD 指标下，该方法在图像重建质量与多样性方面均显著优于 PICNet。
• 使用共享代码本使潜在表示更加紧凑且富有表现力，从而提升生成效率。
• 非自回归采样策略在保持高图像质量的同时，实现了多种补全结果的并行生成。
• 在多个基准数据集上的实验验证了其在定量指标与定性多样性方面的卓越性能。
• 该框架学习到具有丰富语义的离散代码，支持高保真且多样的图像补全。