[论文解读] Pose Embeddings: A Deep Architecture for Learning to Match Human Poses

Greg Mori, Caroline Pantofaru+5 more|arXiv (Cornell University)|Jul 1, 2015

Human Pose and Action Recognition参考文献 34被引用 24

一句话总结

该论文提出了一种深度学习框架，通过学习姿态嵌入空间，直接比较人体姿态，而无需依赖关键点关键点估计。通过三元组损失，模型在嵌入空间中将相似姿态映射得更近，仅使用弱监督的三元组标注即可在姿态检索任务上取得具有竞争力的性能，优于通用图像特征，并且与姿态估计模型具有互补性。

ABSTRACT

We present a method for learning an embedding that places images of humans in similar poses nearby. This embedding can be used as a direct method of comparing images based on human pose, avoiding potential challenges of estimating body joint positions. Pose embedding learning is formulated under a triplet-based distance criterion. A deep architecture is used to allow learning of a representation capable of making distinctions between different poses. Experiments on human pose matching and retrieval from video data demonstrate the potential of the method.

研究动机与目标

• 开发一种无需依赖显式人体关键点估计的直接姿态比较方法。
• 学习一个深度嵌入空间，使得相似姿态的图像在其中彼此靠近。
• 通过仅使用三元组比较（相似/不相似）来减少对昂贵且详细的关节点标注的依赖。
• 实现在视频中高效的姿态驱动图像检索与群体活动分析。
• 证明所学习嵌入表示在下游任务（如视频检索和聚类）中的可迁移性。

提出的方法

• 使用三元组损失训练一个深度卷积神经网络，将图像嵌入到一个度量空间，使得相似姿态的图像彼此靠近。
• 每个训练三元组由一个锚点图像、一个正样本图像（姿态相似）和一个负样本图像（姿态不同）组成。
• 三元组损失通过最小化锚点与正样本之间的距离，同时最大化与负样本的距离，从而强制实现相对姿态相似性。
• 网络使用在 ImageNet 上预训练的改进版 Inception 架构进行特征提取。
• 通过嵌入空间中的 L2 距离计算姿态相似性，实现快速检索。
• 通过距离融合将该方法与姿态估计模型结合，以提升性能。

实验结果

研究问题

• RQ1 深度嵌入网络能否在无关键点监督的情况下，仅通过弱监督的三元组标注直接学习匹配人体姿态？
• RQ2 在姿态检索任务中，该姿态嵌入方法的性能与最先进姿态估计方法和通用图像特征基线相比如何？
• RQ3 所学习的嵌入表示在下游任务（如视频检索和群体活动聚类）中的泛化能力如何？
• RQ4 基于嵌入的方法存在哪些失败模式？与基于关键点的方法相比有何差异？
• RQ5 姿态嵌入表示能否与姿态估计输出有效结合，以进一步提升检索准确率？

主要发现

• 所提出的姿态嵌入方法在姿态检索任务上优于通用的 ImageNet 特征，后者更注重内容相似性而非姿态相似性。
• 该方法在定量性能上表现具有竞争力，尽管仅需三元组标注，其性能已接近全关键点回归模型（Deep Pose）的水平。
• 定性结果表明，嵌入能生成合理的姿态匹配，但前后翻转仍是常见错误案例。
• 所学习的嵌入表示与基于关键点的方法具有互补性：两者融合后，检索性能优于任一方法单独使用。
• 该模型在视频检索和群体活动聚类任务中表现出良好的泛化能力，证明了所学表示的可迁移性。
• 该方法通过避免对详细关键点标注的需求，显著降低了标注成本，仅依赖相对姿态相似性的判断。