[论文解读] Geometric Pose Affordance: 3D Human Pose with Scene Constraints

Zhe Wang, Liyan Chen+3 more|arXiv (Cornell University)|May 19, 2019

Human Pose and Action Recognition参考文献 39被引用 41

一句话总结

本工作引入 Geometric Pose Affordance (GPA)，一种数据集和方法，利用场景几何的多层深度图来约束单目三维人体姿态估计，在遮挡和复杂场景下提升准确性。它提出两种集成方式——几何编码输入和可微分几何一致性损失——并展示相对于与场景无关基线的改进。

ABSTRACT

Full 3D estimation of human pose from a single image remains a challenging task despite many recent advances. In this paper, we explore the hypothesis that strong prior information about scene geometry can be used to improve pose estimation accuracy. To tackle this question empirically, we have assembled a novel $ extbf{Geometric Pose Affordance}$ dataset, consisting of multi-view imagery of people interacting with a variety of rich 3D environments. We utilized a commercial motion capture system to collect gold-standard estimates of pose and construct accurate geometric 3D CAD models of the scene itself. To inject prior knowledge of scene constraints into existing frameworks for pose estimation from images, we introduce a novel, view-based representation of scene geometry, a $ extbf{multi-layer depth map}$, which employs multi-hit ray tracing to concisely encode multiple surface entry and exit points along each camera view ray direction. We propose two different mechanisms for integrating multi-layer depth information pose estimation: input as encoded ray features used in lifting 2D pose to full 3D, and secondly as a differentiable loss that encourages learned models to favor geometrically consistent pose estimates. We show experimentally that these techniques can improve the accuracy of 3D pose estimates, particularly in the presence of occlusion and complex scene geometry.

研究动机与目标

• 阐明强烈场景几何先验如何从单张图像改善3D人体姿态估计。
• 创建并公开一个包含丰富地面真值姿态和场景几何的数据集（GPA），用于姿态-场景交互研究。
• 提出一种紧凑的多层深度图表示，用于高效整合到基于CNN的姿态模型中。
• 开发两种将几何信息引入姿态估计的机制：将场景几何编码为输入特征，以及几何一致性损失。
• 展示在遮挡和复杂场景几何下，相较于场景无关基线的姿态估计准确性提升。

提出的方法

• 采用 ResNet-50 主干来从裁剪图像预测2D关节点热图和深度以获得3D姿态。
• 计算并编码每个相机视图的多层深度图，以捕捉沿每条视线的遮挡与可见表面交叉。
• 引入一个几何一致性损失，惩罚沿着视线的姿态预测穿透场景几何。
• 提供两种将多层深度编码为输入特征的方案：一个以视图为中心的裁剪深度图和一个以根部为中心的体积编码。
• 以阶段方式训练：先2D姿态模块，再3D深度回归，随后将几何感知组件加入模型。
• 对比基线进行评估，包括一个简单提升模型和 PoseNet 风格的积分回归。

实验结果

研究问题

• RQ1 显式场景几何先验是否能在拥挤或遮挡环境中提升单目3D人体姿态估计？
• RQ2 如何利用多层深度表示来约束关节深度而不造成过高计算成本？
• RQ3 几何编码输入和可微分几何损失是否比场景无关姿态模型获得可观的精度提升？
• RQ4 GPA 数据集如何支持研究人-场景协能并在遮挡及近几何场景中改进姿态估计？

主要发现

• 推出一个新颖的 GPA 数据集，具备地面真值3D姿态和详细场景几何，支持几何感知姿态估计研究。
• 两种几何集成方法（编码的多层深度输入和几何一致性损失）相较于场景无关基线提升了3D姿态估计。
• 最强提升在遮挡和复杂几何场景下出现，验证了场景约束的有效性。
• 多层深度表示有效编码场景几何，可作为额外的CNN输入通道集成，或用于约束预测深度。