[论文解读] Exploring Dual-task Correlation for Pose Guided Person Image Generation

Pengze Zhang, Lingxiao Yang+2 more|arXiv (Cornell University)|Mar 6, 2022

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出了一种双任务姿态变换网络（DPTN），通过引入源到源重建任务作为辅助学习信号，实现姿态引导的人体图像生成。通过在源到目标和源到源分支之间共享权重，并利用姿态变换模块（PTM）挖掘双任务相关性，DPTN增强了纹理迁移效果，生成了更逼真的图像，参数量为979万，PSNR和LPIPS指标均优于当前最先进方法。

ABSTRACT

Pose Guided Person Image Generation (PGPIG) is the task of transforming a person image from the source pose to a given target pose. Most of the existing methods only focus on the ill-posed source-to-target task and fail to capture reasonable texture mapping. To address this problem, we propose a novel Dual-task Pose Transformer Network (DPTN), which introduces an auxiliary task (i.e., source-to-source task) and exploits the dual-task correlation to promote the performance of PGPIG. The DPTN is of a Siamese structure, containing a source-to-source self-reconstruction branch, and a transformation branch for source-to-target generation. By sharing partial weights between them, the knowledge learned by the source-to-source task can effectively assist the source-to-target learning. Furthermore, we bridge the two branches with a proposed Pose Transformer Module (PTM) to adaptively explore the correlation between features from dual tasks. Such correlation can establish the fine-grained mapping of all the pixels between the sources and the targets, and promote the source texture transmission to enhance the details of the generated target images. Extensive experiments show that our DPTN outperforms state-of-the-arts in terms of both PSNR and LPIPS. In addition, our DPTN only contains 9.79 million parameters, which is significantly smaller than other approaches. Our code is available at: https://github.com/PangzeCheung/Dual-task-Pose-Transformer-Network.

研究动机与目标

• 解决人体图像生成中源到目标姿态迁移的病态问题，该问题常导致纹理不真实和伪影出现。
• 在姿态变化较大时提升纹理映射保真度，解决现有方法难以保留源图像外观细节的问题。
• 通过引入共享权重的自重建辅助任务（源到源），稳定源到目标生成器的训练过程。
• 通过显式建模双任务特征之间的细粒度相关性，提升源到目标分支的特征优化效果。
• 设计一种轻量化但高效的架构，在远少于先前方法的参数量下实现SOTA性能。

提出的方法

• 提出一种类Siamese结构的DPTN，包含两个分支：一个用于源到源自重建的分支，另一个用于源到目标转换的分支。
• 在两个分支之间共享部分权重，以实现从较简单的源到源任务向更难的源到目标任务的知识蒸馏。
• 设计一种姿态变换模块（PTM），包含上下文增强模块（CABs）和纹理传输模块（TTBs），用于建模跨任务的特征相关性。
• 在PTM中使用多头交叉注意力（MHCA），在像素级别对齐源到源分支与源到目标分支的特征。
• 将PTM生成的优化特征融入源到目标分支，以提升纹理细节生成质量。
• 使用独立的损失函数联合训练整个网络：重建任务使用L1损失，真实感任务使用感知损失。

Figure 1 : Visual comparison of our method with other approaches, including vanilla CNN based [ 22 ] , attention based [ 45 ] , optical flow based [ 24 ] , and parsing map based [ 21 ] method. Compared with other methods, our model can generate more realistic images.

实验结果

研究问题

• RQ1 引入源到源自重建任务作为辅助学习信号，能否提升姿态引导人体图像生成的性能与训练稳定性？
• RQ2 对双任务特征进行细粒度相关性建模，如何增强生成图像中的纹理迁移与细节保留？
• RQ3 双任务学习在多大程度上能稳定训练过程并防止源到目标生成任务中的模式崩溃？
• RQ4 仅含979万参数的轻量化架构，能否在定量与定性指标上均优于更大的SOTA模型？
• RQ5 所提出的姿态变换模块（PTM）是否能有效引导纹理从源图像传输到目标图像，同时保持几何一致性？

主要发现

• 完整DPTN模型在DeepFashion数据集上达到PSNR 19.1492和LPIPS 0.1957，优于所有消融实验变体与SOTA方法。
• 消融实验表明，若移除双任务学习（w/o DTL），训练过程变得不稳定且出现严重伪影，证实其在训练稳定性中的关键作用。
• 移除PTM后图像出现模糊，因纹理映射效果差，表明PTM在传递源图像外观细节方面具有决定性作用。
• 不使用CABs的模型无法有效整合源到源知识，导致生成图像中出现不真实的图案。
• 移除编码器（w/o En_s）后，细粒度纹理线索丢失，证明其在向PTM提供源图像纹理信息方面至关重要。
• 完整模型在DeepFashion数据集上取得最优FID分数11.4664，且学习曲线显示双任务训练持续优化，而单任务训练在130个epoch后即发生崩溃。

Figure 2 : Overview of our model. It contains a self-reconstruction branch for auxiliary source-to-source task, and a transformation branch for source-to-target task. These two branches share partial weights and are communicated by a pose transformer module.