[论文解读] Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization

Yu Chen, Chunhua Shen+4 more|arXiv (Cornell University)|Nov 1, 2017

Face recognition and analysis参考文献 96被引用 13

一句话总结

本文提出一种结构感知的全卷积生成对抗网络，利用条件GAN提升在遮挡或具有挑战性的单目图像中的关键点定位性能。通过训练生成器生成能欺骗专门检测生物上不合理的姿态配置的判别器的合理姿态，该方法隐式学习了人体结构先验，在2D面部关键点、2D人体姿态和3D人体姿态估计基准上显著优于当前最先进方法。

ABSTRACT

Landmark/pose estimation in single monocular images have received much effort in computer vision due to its important applications. It remains a challenging task when input images severe occlusions caused by, e.g., adverse camera views. Under such circumstances, biologically implausible pose predictions may be produced. In contrast, human vision is able to predict poses by exploiting geometric constraints of landmark point inter-connectivity. To address the problem, by incorporating priors about the structure of pose components, we propose a novel structure-aware fully convolutional network to implicitly take such priors into account during training of the deep network. Explicit learning of such constraints is typically challenging. Instead, inspired by how human identifies implausible poses, we design discriminators to distinguish the real poses from the fake ones (such as biologically implausible ones). If the pose generator G generates results that the discriminator fails to distinguish from real ones, the network successfully learns the priors. Training of the network follows the strategy of conditional Generative Adversarial Networks (GANs). The effectiveness of the proposed network is evaluated on three pose-related tasks: 2D single human pose estimation, 2D facial landmark estimation and 3D single human pose estimation. The proposed approach significantly outperforms the state-of-the-art methods and almost always generates plausible pose predictions, demonstrating the usefulness of implicit learning of structures using GANs.

研究动机与目标

• 解决在严重遮挡或杂乱背景下的单目图像中关键点定位不准确的问题。
• 在不显式建模关节连接关系的前提下，将人体结构的几何先验融入深度卷积网络。
• 通过对抗性训练学习合理姿态配置，提升姿态估计的鲁棒性。
• 使网络即使在关键点特征模糊或缺失时，也能生成生物学上合理的姿态。
• 在多个关键点定位任务中证明通过条件GAN实现隐式结构学习的有效性。

提出的方法

• 一个全卷积生成器网络（G）从输入图像回归关键点位置的热力图。
• 一个姿态判别器（P）被训练以区分真实、合理的姿态与生成器G生成的虚假、不合理的姿态。
• 生成器通过对抗性优化策略欺骗判别器，隐式学习人体结构约束。
• 采用条件GAN训练，其中生成器在输入图像的条件下生成姿态热力图。
• 判别器在真实真实热力图和生成器G生成的虚假热力图上进行训练。
• 推理阶段仅使用生成器网络，判别器被丢弃。

实验结果

研究问题

• RQ1 使用结构感知判别器进行对抗性训练，能否提升在遮挡条件下关键点定位的鲁棒性？
• RQ2 基于GAN的框架在多大程度上能隐式学习人体关节的几何约束？
• RQ3 在极端遮挡场景下，该方法是否能生成比基线DCNN更合理姿态？
• RQ4 该方法在不同关键点定位任务（面部、2D人体、3D人体）之间具有多大程度的泛化能力？
• RQ5 判别器识别不现实姿态的能力，能否有效引导生成器生成更真实的预测？

主要发现

• 所提方法在2D面部关键点检测、2D人体姿态估计和2D到3D姿态转换基准上达到最先进性能。
• 在300-W数据集上，该方法在平均误差方面优于以往最先进方法，尤其在具有挑战性的遮挡条件下表现更优。
• 定性结果表明，即使关键点特征模糊或缺失，网络也能持续生成合理的姿态配置。
• 消融实验证实，与基线模型相比，判别器显著提升了泛化能力并减少了不合理的预测。
• 网络学习到生成位于真实人体形态流形内的姿态，表明结构编码有效。
• 该方法在推理阶段引入的开销可忽略不计，因为推理时仅使用生成器。