[论文解读] Bipartite Graph Reasoning GANs for Person Image Generation

Hao Tang, Song Bai+2 more|arXiv (Cornell University)|Aug 10, 2020

Human Pose and Action Recognition参考文献 16被引用 36

一句话总结

BiGraphGAN 引入 Bipartite Graph Reasoning (BGR) 与 Interaction-and-Aggregation (IA) 模块，用于建模跨越长距离的人体姿态关系并联合增强外观和形状以进行姿态引导的人像生成，在 Market-1501 和 DeepFashion 上取得强劲的定量与可视化结果。

ABSTRACT

We present a novel Bipartite Graph Reasoning GAN (BiGraphGAN) for the challenging person image generation task. The proposed graph generator mainly consists of two novel blocks that aim to model the pose-to-pose and pose-to-image relations, respectively. Specifically, the proposed Bipartite Graph Reasoning (BGR) block aims to reason the crossing long-range relations between the source pose and the target pose in a bipartite graph, which mitigates some challenges caused by pose deformation. Moreover, we propose a new Interaction-and-Aggregation (IA) block to effectively update and enhance the feature representation capability of both person's shape and appearance in an interactive way. Experiments on two challenging and public datasets, i.e., Market-1501 and DeepFashion, show the effectiveness of the proposed BiGraphGAN in terms of objective quantitative scores and subjective visual realness. The source code and trained models are available at https://github.com/Ha0Tang/BiGraphGAN.

研究动机与目标

• 促使在人像图像生成中对姿态变形进行更有效建模。
• 提出一个基于图的模块以捕捉源姿态与目标姿态之间的跨越长距离的关系。
• 开发交互式块以联合增强形状与外观表示。
• 引入基于注意力的融合机制以生成最终的高质量图像。
• 在两个公开数据集上通过全面的定量与定性评估展示其有效性。

提出的方法

• 引入 Bipartite Graph Reasoning (BGR) 块，通过 Graph Convolutional Networks (GCNs) 来建模源姿态与目标姿态之间的跨越长距离关系。
• 将姿态特征投影到 bipartite graph 空间，执行跨关系推理，并通过残差连接映射回坐标空间。
• 引入 Interaction-and-Aggregation (IA) 块以交互方式增强外观和形状特征并同步更新。
• 使用 Attention-based Image Fusion (AIF) 模块有选择地融合输入与中间结果以生成最终图像。
• 使用对抗、L1 与感知损失，采用外观与形状双辨别器进行训练。
• 将姿态表示为 18-channel heat maps，并为源姿态与目标姿态共享形状编码器。

实验结果

研究问题

• RQ1 是否可以通过 bipartite graph reasoning 有效建模跨越长距离的姿态关系，以提升姿态到姿态与姿态到图像的转换？
• RQ2 是否专用的 IA 模块能在生成过程中改善联合形状与外观表示？
• RQ3 是否基于注意力的融合通过有选择地组合输入与中间结果来帮助生成更真实的最终图像？
• RQ4 在 Market-1501 与 DeepFashion 上，BiGraphGAN 在标准指标和人类评估方面相比最先进方法的表现如何？

主要发现

• BiGraphGAN 在 Market-1501 上相比若干最先进方法取得更好的 SSIM、Mask-SSIM 和 PCKh。
• BiGraphGAN 在 DeepFashion 上相比若干最先进方法取得更好的 SSIM 和 PCKh。
• 该方法在两个数据集上的 Inception Score (IS) 高于最相关模型 PATN。
• 消融研究表明，BGR 的两个分支 (B2A 和 A2B) 以及非共享配置均优于基线，AIF 进一步带来增益。
• 用户研究表明 BiGraphGAN 生成的图像比竞争方法更具照片真实感。
• 定性结果显示在人像图像上比若干基线方法和 SOTA PATN 更清晰、更真实。