[论文解读] A Rotation Invariant Latent Factor Model for Moveme Discovery from Static Poses

Matteo Ruggero Ronchi, Joon Sik Kim+1 more|arXiv (Cornell University)|Sep 23, 2016

Human Pose and Action Recognition参考文献 27被引用 3

一句话总结

该论文提出了一种旋转不变的潜在因子模型，通过从任意视角拍摄的2D静态图像中学习3D基姿态（moveme），利用几何正则化矩阵分解方法，将视角变化与真实运动分离。该方法实现了旋转不变、可解释且泛化能力强的姿态表征，能够重建未见姿态，并在动作识别和动态推理等应用中达到最先进性能。

ABSTRACT

We tackle the problem of learning a rotation invariant latent factor model when the training data is comprised of lower-dimensional projections of the original feature space. The main goal is the discovery of a set of 3-D bases poses that can characterize the manifold of primitive human motions, or movemes, from a training set of 2-D projected poses obtained from still images taken at various camera angles. The proposed technique for basis discovery is data-driven rather than hand-designed. The learned representation is rotation invariant, and can reconstruct any training instance from multiple viewing angles. We apply our method to modeling human poses in sports (via the Leeds Sports Dataset), and demonstrate the effectiveness of the learned bases in a range of applications such as activity classification, inference of dynamics from a single frame, and synthetic representation of movements.

研究动机与目标

• 从任意相机角度拍摄的2D静态姿态中发现人类运动的原始模式（moveme）。
• 开发一种数据驱动的、旋转不变的表征方法，将视角变化与真实的3D运动变化分离。
• 通过共享的3D基姿态空间，实现对不同视角下未见姿态的重建。
• 支持动作识别、动态推理和合成运动生成等下游应用。
• 提供一种可解释的、过完备的3D姿态词典，无需3D真实值或精心设计的相机角度。

提出的方法

• 一种改进的潜在因子模型对2D关节点坐标执行矩阵分解，将其分解为3D基矩阵U和系数矩阵V。
• 在优化过程中显式集成几何操作，通过建模视角引起的变换来实现旋转不变性。
• 采用正则化目标函数，惩罚在任意旋转下与预期2D投影的偏差，确保一致的3D基发现。
• 通过少量代表性姿态初始化U，并使用交替最小二乘法联合优化U和V。
• 使用t-SNE可视化高维姿态流形，将V中的系数映射到2D空间以增强可解释性。
• 从V的系数生成基姿态激活的热力图，展示学习到的moveme在姿态流形上的空间分布。

实验结果

研究问题

• RQ1 无3D监督的情况下，数据驱动模型能否从2D静态图像中学习到旋转不变的3D基姿态？
• RQ2 所学习的基表示在未见视角下对姿态的重建效果如何？
• RQ3 与非旋转不变的基线方法相比，该表示在动作识别和动态推理中的性能提升程度如何？
• RQ4 所学习的moveme与“发球”或“射门”等感知上有意义的人体运动模式是否对齐？
• RQ5 该模型能否泛化至合成运动生成和人体运动的流形可视化？

主要发现

• 与旋转无关的基线方法相比，所提方法在动作识别任务中表现显著更优，证明了视角不变性的重要性。
• 模型在多种视角下对训练姿态实现了高精度重建，甚至包括训练集中未出现的姿态，证实了其泛化能力。
• t-SNE可视化显示，具有相似运动类型的姿态（如“发球”和“排球拦网”）聚集在一起，而“跑步”则在空间上分离，表明流形结构具有意义。
• 基姿态激活的热力图证实，“排球击打”在上半身运动区域最活跃，而“射门”在下半身区域最活跃，与直观的运动语义一致。
• 该表示对视角变化具有鲁棒性：t-SNE空间中相邻的姿态可能具有截然不同的相机角度，证明了旋转不变性。
• 通过线性组合学习到的基，该方法可实现合成运动生成，生成的中间姿态在运动流形上均合理。