[论文解读] Human Motion Analysis with Deep Metric Learning

Huseyin Coskun, David Joseph Tan+3 more|arXiv (Cornell University)|Jul 30, 2018

Human Pose and Action Recognition参考文献 28被引用 5

一句话总结

本文提出了一种用于人体动作分析的深度度量学习框架，采用新颖的MMD-NCA损失函数与注意力RNN，从可变长度动作序列中学习语义上有意义的嵌入表示。通过利用分布级监督与注意力机制，该方法在动作检索与人员识别任务中达到最先进性能，相较于传统的度量方法（如DTW和L2），错误阳性率最高降低20%。

ABSTRACT

Effectively measuring the similarity between two human motions is necessary for several computer vision tasks such as gait analysis, person identi- fication and action retrieval. Nevertheless, we believe that traditional approaches such as L2 distance or Dynamic Time Warping based on hand-crafted local pose metrics fail to appropriately capture the semantic relationship across motions and, as such, are not suitable for being employed as metrics within these tasks. This work addresses this limitation by means of a triplet-based deep metric learning specifically tailored to deal with human motion data, in particular with the prob- lem of varying input size and computationally expensive hard negative mining due to motion pair alignment. Specifically, we propose (1) a novel metric learn- ing objective based on a triplet architecture and Maximum Mean Discrepancy; as well as, (2) a novel deep architecture based on attentive recurrent neural networks. One benefit of our objective function is that it enforces a better separation within the learned embedding space of the different motion categories by means of the associated distribution moments. At the same time, our attentive recurrent neural network allows processing varying input sizes to a fixed size of embedding while learning to focus on those motion parts that are semantically distinctive. Our ex- periments on two different datasets demonstrate significant improvements over conventional human motion metrics.

研究动机与目标

• 为解决传统动作相似性度量方法（如L2和DTW）在捕捉人体动作序列中语义与上下文关系方面的局限性。
• 设计一种深度度量学习框架，将语义上相似的动作映射到嵌入空间中相近的位置，而无需显式序列对齐。
• 通过注意力增强的循环神经网络架构，实现从可变长度动作序列中有效学习。
• 通过基于分布的损失监督，消除硬负样本挖掘的需求，从而降低计算成本。
• 提升下游任务（如动作检索与基于动作的人员识别）的性能。

提出的方法

• 提出一种基于最大均值差异（Maximum Mean Discrepancy）的新型MMD-NCA损失函数，通过强制不同动作类别在分布矩上的分离，避免硬负样本挖掘。
• 采用注意力增强的循环神经网络（RNN）处理可变长度动作序列，通过聚焦于语义上独特的姿态模式，生成固定大小的嵌入表示。
• 采用基于三元组的架构，结合核化MMD目标，比较整个动作分布而非单一样本。
• 应用层归一化与自注意力机制，以稳定训练过程并提升特征表示学习能力。
• 在MMD-NCA损失中使用不同的核函数（线性、多项式、RBF），以探究高阶统计矩对嵌入质量的影响。
• 采用对比学习方法，端到端训练三元组（锚点、正样本（同类别）、负样本（不同类别））的运动序列。

实验结果

研究问题

• RQ1 基于分布级监督的深度度量学习方法，是否能在捕捉语义关系方面优于传统的动作相似性度量方法（如L2和DTW）？
• RQ2 注意力增强的RNN架构在从可变长度人体动作序列中学习固定大小嵌入表示方面，效果如何？
• RQ3 通过MMD-based损失消除硬负样本挖掘，是否能提升动作相似性任务中的训练效率与性能？
• RQ4 MMD-NCA损失中核函数的选择在多大程度上影响所学习动作嵌入的质量？
• RQ5 所提出的方法是否能在动作检索与基于动作的人员识别任务中达到最先进性能？

主要发现

• 在CMU Mocap数据集上，所提出的MMD-NCA损失结合注意力RNN，相较于DTW、MDDTW、CTW与GDTW，错误阳性率（FPR）降低20%。
• 在CMU Mocap数据集上，该方法在FPR-70指标上比最先进深度学习基线方法降低2%，展现出更优的人员识别准确率。
• 移除自注意力机制后性能下降最显著，NMI与F1分数大幅降低，凸显其在捕捉判别性动作部分中的关键作用。
• 层归一化与自注意力机制分别带来约7%与10%的FPR改善，表明二者在模型稳定性和表示质量方面具有重要意义。
• MMD-NCA损失中的多项式与RBF核函数表现优于线性核函数，表明动作分布的高阶矩能提升嵌入质量。
• 注意力可视化结果表明，模型能成功聚焦于语义上独特的动作阶段（如篮球投篮或步态中的弯腰动作），同时忽略信息量较低的帧。