[论文解读] Weakly Supervised Body Part Parsing with Pose based Part Priors.

Zhengyuan Yang, Yuncheng Li+3 more|arXiv (Cornell University)|Jul 30, 2019

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种弱监督人体部位分割框架，利用基于姿态的部位先验和迭代优化，以极少的标注成本实现了最先进性能。在Pascal-Person-Part数据集上达到62.0%的mIoU，与全监督方法（63.6% mIoU）相当，并在额外弱监督可用时优于现有的半监督方法。

ABSTRACT

Human body part parsing refers to the task of predicting the semantic segmentation mask for each body part. Fully supervised body part parsing methods achieve good performances, but require an enormous amount of effort to annotate part masks for training. In contrast to high annotation costs required for a limited number of part mask annotations, a large number of weak labels such as poses and full body masks already exist and contain relevant information. Motivated by the possibility of using existing weak labels, we propose the first weakly supervised body part parsing framework. The basic idea is to train a parsing network with pose generated part priors that has blank uncertain regions on estimated boundaries, and use an iterative refinement module to generate new supervision and predictions on these regions. When sufficient extra weak supervisions are available, our weakly-supervised results (62.0% mIoU) on Pascal-Person-Part are comparable to the fully supervised state-of-the-art results (63.6% mIoU). Furthermore, in the extended semi-supervised setting, the proposed framework outperforms the state-of-art methods. In addition, we show that the proposed framework can be extended to other keypoint-supervised part parsing tasks such as face parsing.

研究动机与目标

• 通过利用现有弱标签（如姿态和完整人体掩码）来解决全监督人体部位分割的高标注成本问题。
• 开发一种弱监督框架，利用姿态生成的部位先验（包含边界区域不确定或空白区域）作为初始监督。
• 通过在不确定区域生成新监督信号，迭代优化预测结果，从而在无需完整掩码标注的情况下提升分割精度。
• 将该框架扩展至其他关键点监督的分割任务（如人脸分割），以证明其泛化能力。

提出的方法

• 该框架使用包含边界区域空白或不确定的基于姿态的部位先验初始化分割网络。
• 迭代优化模块识别预测掩码中的不确定区域，并为这些区域生成新的伪监督信号。
• 优化过程在预测与伪标签生成之间交替进行，逐步提升掩码质量。
• 该方法利用人体姿态的空间结构来指导部位定位，即使在缺乏密集掩码标注的情况下也能有效工作。
• 框架通过在初始先验和优化后的伪标签上使用交叉熵损失进行端到端训练。
• 通过将基于姿态的先验生成方法适配至新的解剖关键点配置，该方法被扩展至其他关键点监督的分割任务。

实验结果

研究问题

• RQ1 基于姿态的部位先验（含不确定边界）能否作为人体部位分割的有效弱监督？
• RQ2 在无完整掩码标注的情况下，对不确定区域进行迭代优化能否显著提升分割性能？
• RQ3 该弱监督框架在Pascal-Person-Part数据集上的性能与全监督最先进方法相比如何？
• RQ4 该框架能否泛化至其他关键点监督的分割任务（如人脸分割）？
• RQ5 当额外弱标签可用时，该框架在半监督设置下是否能取得更优性能？

主要发现

• 所提出的弱监督方法在Pascal-Person-Part数据集上达到62.0%的mIoU，接近全监督最先进结果（63.6% mIoU）。
• 在半监督设置下，该框架通过利用额外弱监督信号，优于现有最先进方法。
• 迭代优化模块有效降低了边界区域的不确定性，使掩码质量在训练迭代过程中逐步提升。
• 该框架在其他关键点监督的分割任务（如人脸分割）中也表现出良好泛化能力，证明其适应性。
• 基于姿态的先验显著减少了对昂贵掩码标注的需求，同时保持了高性能。