[论文解读] Beyond Appearance: a Semantic Controllable Self-Supervised Learning Framework for Human-Centric Visual Tasks

Weihua Chen, Xianzhe Xu+6 more|arXiv (Cornell University)|Mar 30, 2023

Human Pose and Action Recognition被引用 4

一句话总结

SOLIDER 是一种语义可控的自监督学习框架，利用人体图像中的先验知识生成伪语义标签，从而学习富含语义信息的通用人体表征。通过引入带有语义控制器的条件网络，SOLIDER 能够生成可调节语义-外观比例的适应性表征，在六项以人为中心的视觉任务中超越当前最先进方法，在所有评估基准上建立了新基线。

ABSTRACT

Human-centric visual tasks have attracted increasing research attention due to their widespread applications. In this paper, we aim to learn a general human representation from massive unlabeled human images which can benefit downstream human-centric tasks to the maximum extent. We call this method SOLIDER, a Semantic cOntrollable seLf-supervIseD lEaRning framework. Unlike the existing self-supervised learning methods, prior knowledge from human images is utilized in SOLIDER to build pseudo semantic labels and import more semantic information into the learned representation. Meanwhile, we note that different downstream tasks always require different ratios of semantic information and appearance information. For example, human parsing requires more semantic information, while person re-identification needs more appearance information for identification purpose. So a single learned representation cannot fit for all requirements. To solve this problem, SOLIDER introduces a conditional network with a semantic controller. After the model is trained, users can send values to the controller to produce representations with different ratios of semantic information, which can fit different needs of downstream tasks. Finally, SOLIDER is verified on six downstream human-centric visual tasks. It outperforms state of the arts and builds new baselines for these tasks. The code is released in https://github.com/tinyvision/SOLIDER.

研究动机与目标

• 从大量未标注的人体图像中学习一种通用且可泛化的表征，以提升多样化下游以人为中心的视觉任务性能。
• 解决现有自监督方法在捕捉充分语义信息方面的局限性，尤其针对需要高层理解的任务（如语义分割和属性识别）。
• 实现学习表征中语义与外观信息比例的动态调节，以适应不同下游任务的需求。
• 开发一个预训练模型，可作为以人为中心视觉任务的新更强基线。

提出的方法

• SOLIDER 引入了一项基于伪语义标签的 token 级语义分类掩码任务，该标签由人体图像中的先验知识生成，例如身体部位（如上半身、鞋子）。
• 它利用视觉 Transformer 主干网络和可学习投影头，将特征映射到语义空间，并通过伪标签监督以增强语义感知能力。
• 在条件网络架构中集成语义控制器，允许用户输入标量值以控制最终表征中语义与外观信息的比例。
• 控制器在推理过程中调制特征空间，实现在不重新训练的情况下对表征组成进行实时适应。
• 该框架在 LUPerson 数据集（418万张图像）上进行预训练，采用对比学习结合掩码自编码和新的语义掩码任务。
• 最终表征通过标准头架构在下游任务上进行微调，性能在六项以人为中心的任务中进行评估。

Figure 1 : A representation space learned by DINO [ 6 ] . Seven human images are represented in seven different colors. Each image is split into four parts according to their semantic regions, i.e . , upper body (as $\blacktriangle$ ), lower body (as + ), shoes (as $\star$ ) and background (as $\tim

实验结果

研究问题

• RQ1 能否有效利用人体图像中的先验知识生成伪语义标签，以支持自监督表征学习？
• RQ2 与标准对比学习或掩码自编码方法相比，自监督框架能否学习到语义内容更强的表征？
• RQ3 单一预训练模型能否生成语义-外观比例可调的表征，以适用于多样化下游以人为中心的任务？
• RQ4 所提出的语义控制器是否能在多个以人为中心的视觉任务中实现优于固定表征基线的性能？

主要发现

• SOLIDER 在六项以人为中心的视觉任务中达到新的 SOTA 性能，包括行人重识别、属性识别、行人检索、行人检测、人体语义分割和姿态估计。
• 在 PETA 零样本属性识别基准上，SOLIDER 使用 Swin-B 模型达到 76.43% 的准确率，较之前 SOTA 提升 2.12 个百分点。
• 在 PRW 行人检索任务中，SOLIDER 达到 59.8% 的 mAP，较之前 SOTA 方法相对提升 12%。
• 在 Cityscapes 行人检测任务中，SOLIDER 使用 Swin-S 模型达到 9.7% MR-2 和 39.4% H-O，优于相似设置下的先前方法。
• 在人体语义分割（LIP）任务中，SOLIDER 使用 Swin-S 模型达到 60.21% 的 mIOU，较之前 SOTA 提升 2.69%。
• 在五项非 Re-ID 任务上的平均性能从 DINO-LUP1M 的 72.6 提升至 SOLIDER 的 74.9，证明了增强语义学习的一致性优势。

Figure 2 : The pipeline of the proposed SOLIDER.