[论文解读] Improving Consistency and Correctness of Sequence Inpainting using Semantically Guided Generative Adversarial Network

Avisek Lahiri, Arnav Jain+2 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 5

一句话总结

该论文提出了一种语义引导的生成对抗网络（SG-GAN）用于序列补全，通过将生成器基于自动提取的面部语义进行条件化，从而在一致性和正确性方面实现提升。通过解耦姿态与外观线索，该模型生成了时间上一致的、高保真的面部重建结果，在CelebA和YouTube Faces数据集上，于64×64和128×128分辨率下，其PSNR和一致性指标均优于基线GAN模型DIP。

ABSTRACT

Contemporary benchmark methods for image inpainting are based on deep generative models and specifically leverage adversarial loss for yielding realistic reconstructions. However, these models cannot be directly applied on image/video sequences because of an intrinsic drawback- the reconstructions might be independently realistic, but, when visualized as a sequence, often lacks fidelity to the original uncorrupted sequence. The fundamental reason is that these methods try to find the best matching latent space representation near to natural image manifold without any explicit distance based loss. In this paper, we present a semantically conditioned Generative Adversarial Network (GAN) for sequence inpainting. The conditional information constrains the GAN to map a latent representation to a point in image manifold respecting the underlying pose and semantics of the scene. To the best of our knowledge, this is the first work which simultaneously addresses consistency and correctness of generative model based inpainting. We show that our generative model learns to disentangle pose and appearance information; this independence is exploited by our model to generate highly consistent reconstructions. The conditional information also aids the generator network in GAN to produce sharper images compared to the original GAN formulation. This helps in achieving more appealing inpainting performance. Though generic, our algorithm was targeted for inpainting on faces. When applied on CelebA and Youtube Faces datasets, the proposed method results in a significant improvement over the current benchmark, both in terms of quantitative evaluation (Peak Signal to Noise Ratio) and human visual scoring over diversified combinations of resolutions and deformations.

研究动机与目标

• 为解决基于GAN的图像序列补全中缺乏时间一致性的问题，即独立帧重建导致的闪烁和结构不一致。
• 通过将GAN生成器基于面部关键点和表情等语义先验进行条件化，以提升重建的正确性。
• 在潜在空间中实现姿态与外观因素的解耦，以实现更真实且可控的生成。
• 开发一种框架，确保在补全过程中保持面部语义（如表情和纹理）在视频帧之间的连贯性。
• 证明语义条件化在真实世界视频补全应用中的可行性，即使在分布偏移场景下（如YouTube Faces）也无需微调。

提出的方法

• 提出一种语义条件化的GAN架构，其中生成器基于预训练的面部关键点检测器提取的面部语义嵌入进行条件化。
• 语义嵌入作为条件先验，引导生成器生成在帧间保持姿态和外观一致性的图像。
• 模型在潜在空间中实现外观与姿态信息的解耦，即使在变形变化下也能实现一致的生成。
• 引入一致性损失以衡量帧间的时间连贯性，数值越低表示一致性越高。
• 使用对抗损失、感知损失以及一种新颖的语义一致性损失联合训练生成器，以提升真实感和结构保真度。
• 在CelebA和YouTube Faces数据集上，通过定量指标（PSNR、一致性）和人工评估对框架进行评估。

实验结果

研究问题

• RQ1 语义条件化能否提升基于GAN的序列补全中的时间一致性？
• RQ2 基于面部语义的条件化是否能带来更好的重建正确性和视觉质量？
• RQ3 该模型能否实现姿态与外观因素的解耦，从而在视频帧间实现更稳定、更真实的生成？
• RQ4 与SOTA的基于GAN的补全模型（如DIP）相比，该方法在PSNR和一致性指标上的表现如何？
• RQ5 该模型能否在无需微调的情况下泛化到存在领域偏移的真实视频序列（如YouTube Faces）？

主要发现

• 在64×64分辨率下，该方法在随机中心掩码上相对于DIP的平均一致性增益达到4.62 dB，p值 ≤ 10−5，表明具有统计显著性。
• 在128×128分辨率下，该方法在随机中心掩码上比DIP高1.84 dB的一致性，在自由手绘掩码上高3.2 dB，在恒定左侧掩码上高1.05 dB。
• 在YouTube Faces数据集上，该模型在Gary Bettman上的PSNR达到26.15 dB，在Elizabeth Hurley上达到23.67 dB，显著优于DIP的22.48 dB和13.05 dB。
• 视觉分析表明，该模型在帧间保持了面部表情、眼睛开合程度和皮肤纹理的一致性，避免了DIP中常见的闪烁和突变现象。
• 该模型在多种形变类型下表现出鲁棒性，包括随机中心裁剪、自由手绘掩码和恒定左侧损坏。
• 语义条件化实现了外观与姿态的解耦，使生成器能够在生成过程中保持身份和表情的一致性。