[论文解读] Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE

Jialun Peng, Dong Liu+2 more|arXiv (Cornell University)|Mar 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 9

一句话总结

该论文提出了一种基于分层VQ-VAE的两阶段图像修复方法，用于生成多样化且高质量的图像补全结果。首先通过离散潜在码的自回归建模生成多个不同的结构，然后利用包含结构注意力模块和两种专用特征损失的纹理生成器对每种结构进行精细化处理，从而在CelebA-HQ、Places2和ImageNet数据集上实现了最先进的多样性与质量表现。

ABSTRACT

Given an incomplete image without additional constraint, image inpainting natively allows for multiple solutions as long as they appear plausible. Recently, multiplesolution inpainting methods have been proposed and shown the potential of generating diverse results. However, these methods have difficulty in ensuring the quality of each solution, e.g. they produce distorted structure and/or blurry texture. We propose a two-stage model for diverse inpainting, where the first stage generates multiple coarse results each of which has a different structure, and the second stage refines each coarse result separately by augmenting texture. The proposed model is inspired by the hierarchical vector quantized variational auto-encoder (VQ-VAE), whose hierarchical architecture isentangles structural and textural information. In addition, the vector quantization in VQVAE enables autoregressive modeling of the discrete distribution over the structural information. Sampling from the distribution can easily generate diverse and high-quality structures, making up the first stage of our model. In the second stage, we propose a structural attention module inside the texture generation network, where the module utilizes the structural information to capture distant correlations. We further reuse the VQ-VAE to calculate two feature losses, which help improve structure coherence and texture realism, respectively. Experimental results on CelebA-HQ, Places2, and ImageNet datasets show that our method not only enhances the diversity of the inpainting solutions but also improves the visual quality of the generated multiple images. Code and models are available at: https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting.

研究动机与目标

• 解决现有多种解法图像修复方法因结构失真和模糊纹理而导致结果质量低下的局限性。
• 显式生成多样化的图像结构，而非依赖隐空间的隐式采样。
• 通过利用分层VQ-VAE分离的结构与纹理特征，提升纹理真实感与结构一致性。
• 通过结构化生成与针对性的特征损失，在保持高视觉质量的同时增强多样性。
• 证明结构信息在引导多样化且逼真的图像修复中的有效性。

提出的方法

• 使用分层VQ-VAE在潜在空间中解耦结构与纹理特征，实现图像内容的离散化表示。
• 在离散潜在码上应用自回归建模，从单一输入生成多个多样化的结构特征。
• 在纹理生成器中引入结构注意力模块，通过在结构特征上计算完整注意力，确保空间一致性。
• 引入两种辅助特征损失：结构特征损失（$\mathcal{L}_{sf}$）以保持形状一致性，纹理特征损失（$\mathcal{L}_{tf}$）以增强纹理真实感。
• 通过L1损失、对抗性损失以及两种特征损失联合训练模型，以优化图像保真度与多样性。
• 采用两阶段流程：首先生成多样化的结构，然后将每种结构细化为完整且逼真的图像。

实验结果

研究问题

• RQ1 在分层VQ-VAE中对离散潜在码进行自回归建模，能否生成多样且合理的图像结构用于图像修复？
• RQ2 在纹理生成网络中将结构特征作为注意力上下文，是否能提升结构与纹理之间的一致性？
• RQ3 为结构与纹理专门设计的特征损失，是否能在视觉质量上超越标准的感知损失与风格损失？
• RQ4 与现有多种解法图像修复方法相比，该方法在多样性和质量方面表现如何？
• RQ5 分层VQ-VAE在多大程度上实现了结构与纹理信息的解耦，从而提升图像修复效果？

主要发现

• 该方法在CelebA-HQ数据集上实现了9.670的Fréchet Inception Distance（FID）分数，优于基线方法，表明其图像质量更优。
• 该方法在LPIPS度量下获得0.029的多样性分数，与PIC和UCTGAN等最先进方法相当，表明其具有强大的结构多样性。
• 消融实验表明，同时使用$\mathcal{L}_{sf}$和$\mathcal{L}_{tf}$损失时，SSIM（0.8676）、IS（3.467）最高，FID（9.670）最低，证实了其有效性。
• 结构注意力模块显著提升了纹理一致性，使对称眼睛和眉毛等真实特征得以实现，如定性对比所示。
• 用所提出的特征损失替代感知损失与风格损失后，减少了伪影并改善了结构与纹理的对齐，视觉与定量结果均证实了这一点。
• 该方法在CelebA-HQ、Places2和ImageNet等多种数据集上均保持高性能，证实了其良好的泛化能力。