[论文解读] 3D Human Shape and Pose from a Single Low-Resolution Image with Self-Supervised Learning

Xiangyu Xu, Hao Chen+3 more|arXiv (Cornell University)|Jul 27, 2020

Advanced Vision and Imaging参考文献 54被引用 4

一句话总结

该论文提出RSC-Net，一种分辨率感知的深度神经网络，通过自监督和对比学习从单张低分辨率图像中估计3D人体形状与姿态。通过在不同分辨率下强制输出和特征的一致性，RSC-Net在无需高分辨率监督或超分辨率预处理的情况下实现了最先进性能。

ABSTRACT

3D human shape and pose estimation from monocular images has been an active area of research in computer vision, having a substantial impact on the development of new applications, from activity recognition to creating virtual avatars. Existing deep learning methods for 3D human shape and pose estimation rely on relatively high-resolution input images; however, high-resolution visual content is not always available in several practical scenarios such as video surveillance and sports broadcasting. Low-resolution images in real scenarios can vary in a wide range of sizes, and a model trained in one resolution does not typically degrade gracefully across resolutions. Two common approaches to solve the problem of low-resolution input are applying super-resolution techniques to the input images which may result in visual artifacts, or simply training one model for each resolution, which is impractical in many realistic applications. To address the above issues, this paper proposes a novel algorithm called RSC-Net, which consists of a Resolution-aware network, a Self-supervision loss, and a Contrastive learning scheme. The proposed network is able to learn the 3D body shape and pose across different resolutions with a single model. The self-supervision loss encourages scale-consistency of the output, and the contrastive learning scheme enforces scale-consistency of the deep features. We show that both these new training losses provide robustness when learning 3D shape and pose in a weakly-supervised manner. Extensive experiments demonstrate that the RSC-Net can achieve consistently better results than the state-of-the-art methods for challenging low-resolution images.

研究动机与目标

• 解决在实际应用（如监控和体育转播）中常见的低分辨率图像下3D人体形状与姿态估计的挑战。
• 克服现有方法依赖高分辨率输入或在不同分辨率间泛化能力差的局限性。
• 通过采用分辨率一致的自监督学习，缓解真实世界数据集中高质量3D标注缺失的问题。
• 利用对比学习提升不同尺度下特征表示的鲁棒性，最大化不同分辨率下特征之间的互信息。
• 开发一种单模型解决方案，无需单独模型或超分辨率预处理，即可在任意输入分辨率下实现泛化。

提出的方法

• 提出一种分辨率感知的网络架构，跨分辨率共享特征提取器，同时使用分辨率特定的参数自适应整合特征。
• 引入方向性自监督损失，通过将高分辨率输出作为软监督指导低分辨率输入，强制同一图像在不同分辨率下的预测保持一致。
• 设计基于余弦相似度的对比特征损失，以最大化从同一图像在不同分辨率下提取的深层特征之间的互信息，提升特征鲁棒性。
• 采用渐进式训练策略，在学习多分辨率输入时稳定优化，逐步引入低分辨率数据。
• 在自监督损失中引入分层监督，利用高分辨率预测指导低分辨率预测，提升训练稳定性和准确性。
• 将分辨率感知网络、自监督损失和对比特征损失整合为统一的弱监督3D估计训练目标。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否在不重新训练或进行超分辨率处理的情况下，有效估计广泛范围内的低分辨率输入的3D人体形状与姿态？
• RQ2 当高质量3D标注稀缺或不可用时，如何有效利用自监督学习来提升3D估计性能？
• RQ3 通过对比学习强制实现跨分辨率的特征一致性，是否相比标准的MSE损失能带来更好的泛化性和鲁棒性？
• RQ4 与对称监督相比，优先利用高分辨率指导的定向自监督策略是否能提升低分辨率输入的性能？
• RQ5 渐进式训练对多分辨率3D估计模型的收敛性和性能有何影响？

主要发现

• RSC-Net在低分辨率3D人体姿态与形状估计任务上达到最先进性能，在所有测试分辨率下均优于现有方法。
• 分辨率感知网络、自监督损失与对比特征损失的结合，将最低分辨率（32×32）下的MPJPE降低至96.36，显著优于基线模型（105.11），且无需渐进式训练。
• 方向性自监督损失（8）相比原始对称自监督损失，使32×32分辨率下的结果提升8.75 MPJPE（143.31 vs. 105.11），证明其在利用高分辨率指导方面的有效性。
• 对比特征损失（CL）优于基于MSE的特征一致性损失（MS），在32×32分辨率下将MPJPE降低11.44（117.12 vs. 128.56），证实其在高维特征对齐中的优越性。
• 渐进式训练至关重要：跳过该步骤会使32×32分辨率下的MPJPE增加8.75（127.05 vs. 117.12），表明其在稳定多分辨率数据训练中的关键作用。
• 完整模型（RA+SS+CL）在32×32分辨率下实现58.98 MPJPE-PA，证明其在极端低分辨率输入下具备强鲁棒性与泛化能力，且无需超分辨率预处理。