[论文解读] Learning Semantic Person Image Generation by Region-Adaptive Normalization

Zhengyao Lv, Xiaoming Li+5 more|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 4

一句话总结

该论文提出SPGNet，一种用于语义人体图像生成的两阶段框架，首先预测目标语义分割图，然后利用区域自适应归一化进行区域特定的外观风格迁移，显著提升了图像的真实感与一致性，相较于最先进方法，DeepFashion数据集上的FID得分为12.613，Jab得分比第二名方法高出8.06%。

ABSTRACT

Human pose transfer has received great attention due to its wide applications, yet is still a challenging task that is not well solved. Recent works have achieved great success to transfer the person image from the source to the target pose. However, most of them cannot well capture the semantic appearance, resulting in inconsistent and less realistic textures on the reconstructed results. To address this issue, we propose a new two-stage framework to handle the pose and appearance translation. In the first stage, we predict the target semantic parsing maps to eliminate the difficulties of pose transfer and further benefit the latter translation of per-region appearance style. In the second one, with the predicted target semantic maps, we suggest a new person image generation method by incorporating the region-adaptive normalization, in which it takes the per-region styles to guide the target appearance generation. Extensive experiments show that our proposed SPGNet can generate more semantic, consistent, and photo-realistic results and perform favorably against the state of the art methods in terms of quantitative and qualitative evaluation. The source code and model are available at https://github.com/cszy98/SPGNet.git.

研究动机与目标

• 为解决在新姿态下生成高保真、语义一致的人体图像的挑战。
• 克服现有方法在保留细粒度外观细节方面存在的不足，避免出现模糊或不一致的纹理。
• 将复杂的姿态迁移任务分解为两个阶段：首先预测语义图，然后进行区域特定的外观迁移。
• 通过区域自适应归一化实现区域级风格引导，提升外观一致性和真实感。
• 在定量指标与定性结果上均证明其性能优于最先进方法。

提出的方法

• 提出两阶段框架：首先，SPATN模型根据源图像与目标姿态预测目标语义分割图。
• 预测的语义图作为条件监督，指导第二阶段的外观迁移。
• 引入一种新型区域自适应归一化层（SEAN），其中源图像的风格码按身体区域进行自适应调整，并广播至对应的目标区域。
• 使用骨骼的距离图而非热力图，以提升预测语义分割图的质量。
• SPGNet生成器采用双路径U-Net架构，并结合条件归一化，以合成高保真图像。
• 也探索了条件卷积核作为归一化的替代方案，但区域自适应归一化表现更优。

实验结果

研究问题

• RQ1 预测目标语义分割图是否能提升新姿态下人体图像生成的质量与一致性？
• RQ2 在姿态迁移过程中，区域自适应归一化与全局归一化（如AdaIN）相比，能否更好地保留区域级外观细节？
• RQ3 使用距离图而非热力图表示骨骼，是否能提升语义图预测质量，从而改善最终图像生成效果？
• RQ4 两阶段方法（先预测语义图，再进行区域特定风格迁移）是否优于端到端的姿态迁移方法？
• RQ5 区域级风格引导在减少视觉伪影与提升真实感方面有何贡献？

主要发现

• SPGNet在DeepFashion数据集上取得12.613的FID得分，相比第二名方法FID降低13.1%。
• Jab得分（被判断为最佳的图像比例）比第二名方法高出8.06%，表明其感知质量更优。
• Ours-Full变体在SSIM上达到最高（0.783），LPIPS最低（0.2133），证实了结构与感知保真度的提升。
• 消融实验表明，区域自适应归一化显著优于全局归一化（如SEAN）及其他归一化变体。
• 视觉对比显示，Ours-Full生成的纹理更真实，身体部位更一致，尤其在遮挡或复杂姿态下表现更优。
• 使用距离图表示骨骼可提升语义图预测的准确性，从而进一步增强最终图像质量。