[论文解读] Keypoint Based Weakly Supervised Human Parsing

Zhonghua Wu, Guosheng Lin+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Neural Network Applications参考文献 17被引用 3

一句话总结

本文提出了一种弱监督人体解析方法，仅使用人体关键点标注而非昂贵的像素级标签，即可实现具有竞争力的性能。该方法采用迭代伪掩码生成过程与相关性网络，实现部件-目标联合分割，显著降低标注成本，仅带来约10%的性能下降，即可达到全监督方法的性能水平。

ABSTRACT

Fully convolutional networks (FCN) have achieved great success in human parsing in recent years. In conventional human parsing tasks, pixel-level labeling is required for guiding the training, which usually involves enormous human labeling efforts. To ease the labeling efforts, we propose a novel weakly supervised human parsing method which only requires simple object keypoint annotations for learning. We develop an iterative learning method to generate pseudo part segmentation masks from keypoint labels. With these pseudo masks, we train an FCN network to output pixel-level human parsing predictions. Furthermore, we develop a correlation network to perform joint prediction of part and object segmentation masks and improve the segmentation performance. The experiment results show that our weakly supervised method is able to achieve very competitive human parsing results. Despite our method only uses simple keypoint annotations for learning, we are able to achieve comparable performance with fully supervised methods which use the expensive pixel-level annotations.

研究动机与目标

• 通过仅使用人体关键点标注作为监督信号，降低人体解析中像素级标注的高昂人工标注成本。
• 开发一种方法，从稀疏的关键点标注中生成高质量的伪分割掩码，以训练全卷积网络（FCN）。
• 通过联合学习建模部件与目标分割之间的强相关性，提升部件分割性能。
• 支持在训练中同时使用人工标注的关键点与模型预测的关键点（如来自Mask R-CNN或AlphaPose），提升方法的实际应用价值。
• 证明基于关键点监督的弱监督学习方法可实现接近全监督方法的性能表现。

提出的方法

• 利用关键点标注定义图割（graph cut）方法的初始前景与背景区域，其中前景区域由关键点标注及其连接关系确定。
• 通过交替执行FCN预测与图割优化，并结合关键点约束，实施迭代优化过程以提升伪掩码质量。
• 使用生成的伪掩码，以VGG-16为主干网络，训练基于DeepLab的FCN，并对目标、部件及优化后部件的分割损失进行联合优化，损失权重相等。
• 在网络中引入相关性模块（correlation block），以建模部件与目标预测之间的交互关系，提升分割的一致性与准确性。
• 在图割优化中引入推理时的关键点预测结果（如来自Mask R-CNN或AlphaPose），以进一步优化分割结果。
• 采用最小组件大小为60的超像素分割，以提升图割的粒度与稳定性。

实验结果

研究问题

• RQ1 是否可以仅使用人体关键点标注而非像素级掩码，有效训练人体解析模型？
• RQ2 迭代伪掩码生成方法在将稀疏关键点标注转化为高质量语义分割监督信号方面，效果如何？
• RQ3 与独立预测相比，部件与目标分割的联合学习在多大程度上提升了解析性能？
• RQ4 所提出的方法是否能泛化至来自预训练检测器（如Mask R-CNN和AlphaPose）的低质量关键点预测？
• RQ5 在推理阶段引入关键点预测是否能进一步提升分割精度？

主要发现

• 所提出的弱监督方法在PASCAL VOC Human Part数据集上达到67.8%的平均IoU，与使用相同VGG-16主干的全监督基线相比，性能差距仅约10%。
• 对伪掩码的迭代优化显著提升了IoU性能，3轮迭代后即实现收敛，表明掩码优化过程有效。
• 用于联合部件-目标学习的相关性模块提升了部件分割的IoU，证明建模预测间依赖关系可增强分割精度。
• 该方法成功利用了来自人工标注数据集（如PASCAL VOC Human Pose）以及预训练检测器（如Mask R-CNN和AlphaPose）的关键点标注，即使在关键点精度较低的情况下，仍能取得具有竞争力的结果。
• 通过图割优化引入推理时的关键点预测结果，带来了显著的性能提升，证实了在推理阶段动态集成关键点信息的价值。