[论文解读] Inpainting Normal Maps for Lightstage data

Hancheng Zuo, Bernard Tiddeman|arXiv (Cornell University)|Jan 1, 2023

Generative Adversarial Networks and Image Synthesis被引用 1

一句话总结

本文提出了一种基于GAN的从Lightstage数据中修复法线图的方法，采用改进的生成器结合余弦损失和掩码感知训练，以生成高质量、逼真的缺失面部区域重建结果。该方法在有限训练数据和法线图特有的向量特性下，仍能显著提升复杂面部特征的细节准确性和视觉保真度。

ABSTRACT

This study introduces a novel method for inpainting normal maps using a generative adversarial network (GAN). Normal maps, often derived from a lightstage, are crucial in performance capture but can have obscured areas due to movement (e.g., by arms, hair, or props). Inpainting fills these missing areas with plausible data. Our approach extends previous general image inpainting techniques, employing a bow tie-like generator network and a discriminator network, with alternating training phases. The generator aims to synthesize images aligning with the ground truth and deceive the discriminator, which differentiates between real and processed images. Periodically, the discriminator undergoes retraining to enhance its ability to identify processed images. Importantly, our method adapts to the unique characteristics of normal map data, necessitating modifications to the loss function. We utilize a cosine loss instead of mean squared error loss for generator training. Limited training data availability, even with synthetic datasets, demands significant augmentation, considering the specific nature of the input data. This includes appropriate image flipping and in-plane rotations to accurately alter normal vectors. Throughout training, we monitored key metrics such as average loss, Structural Similarity Index Measure (SSIM), and Peak Signal-to-Noise Ratio (PSNR) for the generator, along with average loss and accuracy for the discriminator. Our findings suggest that the proposed model effectively generates high-quality, realistic inpainted normal maps, suitable for performance capture applications. These results establish a foundation for future research, potentially involving more advanced networks and comparisons with inpainting of source images used to create the normal maps.

研究动机与目标

• 解决在动作捕捉过程中因头发、手臂或道具遮挡导致的Lightstage衍生法线图中缺失区域的问题。
• 将基于深度学习的图像修复方法适配于法线图数据的特定特性，即法线图是方向向量场而非标准RGB图像。
• 通过修改损失函数和数据增强技术，提升修复质量，以在变换过程中保持向量几何特性。
• 评估在生成器输入中引入掩码通道对提升重建准确性和视觉真实感的有效性。

提出的方法

• 采用受上下文编码器和DCGAN启发的类似蝴蝶结形状的生成器与判别器，构建用于法线图修复的GAN框架。
• 用余弦损失替代标准的均方误差损失，以更好地对齐预测的法向量与真实方向。
• 应用几何感知数据增强：通过矩阵变换对图像和法向量分量同时进行翻转和平面内旋转。
• 在生成器输入中引入掩码通道以引导重建，提升空间一致性和细节准确性。
• 采用交替训练生成器与判别器的方式，并定期重新训练判别器以维持分类性能。
• 通过SSIM、PSNR以及生成器/判别器损失与准确率监控训练过程，确保稳定收敛与高质量输出。

实验结果

研究问题

• RQ1 在生成器训练中引入掩码通道，如何影响修复后法线图的质量与真实感？
• RQ2 余弦损失是否能通过保持法向量的方向一致性，在法线图修复中超越均方误差？
• RQ3 几何感知数据增强技术在小型合成法线图数据集上，能在多大程度上提升模型的泛化能力？
• RQ4 不同掩码模式（不规则线条、中心斑块、零散小斑块）如何影响模型重建复杂面部特征的能力？
• RQ5 架构修改（如扩展层结构）与损失函数更改相比，对整体性能的相对贡献如何？

主要发现

• 模型生成的法线图质量高、视觉逼真，即使在鼻孔、嘴唇等复杂面部特征上也具有高度的感知可信度。
• 在训练中引入掩码通道可带来细微但感知上显著的细节准确性提升，尤其在精细面部结构上表现明显。
• SSIM与PSNR指标显示掩码引入仅带来微弱的定量提升（SSIM提高12.34%），但视觉评估表明细节重建更清晰。
• 使用余弦损失而非MSE能显著提升预测法向量的方向一致性，使其更贴近真实向量场。
• 模型在多种掩码模式下均表现出鲁棒性，表明其能适应动作捕捉中多样的遮挡场景。
• 尽管训练数据有限，但通过广泛的几何感知增强与精心设计的损失函数，实现了稳定训练与高质量结果。