[论文解读] hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition

Ci Li, Nima Ghorbani+6 more|arXiv (Cornell University)|Jun 18, 2021

Human Pose and Action Recognition参考文献 19被引用 14

一句话总结

本论文提出hSMAL，一种基于37个马玩偶构建的马匹特异性3D可变形统计形状与姿态模型，可实现从2D视频和动作捕捉数据中准确重建3D马匹形态。该模型实现平均7 cm的重建误差——仅为通用SMAL模型的一半——并利用hSMAL生成的姿态序列在ST-GCN中实现更优的跛行检测性能，优于仅使用动作捕捉点的结果。

ABSTRACT

In this paper we present our preliminary work on model-based behavioral analysis of horse motion. Our approach is based on the SMAL model, a 3D articulated statistical model of animal shape. We define a novel SMAL model for horses based on a new template, skeleton and shape space learned from $37$ horse toys. We test the accuracy of our hSMAL model in reconstructing a horse from 3D mocap data and images. We apply the hSMAL model to the problem of lameness detection from video, where we fit the model to images to recover 3D pose and train an ST-GCN network on pose data. A comparison with the same network trained on mocap points illustrates the benefit of our approach.

研究动机与目标

• 开发一种详细、物种特异的马匹3D形态与姿态模型，以提升动物运动分析的准确性。
• 通过在多样化的马玩偶数据集上进行训练，解决通用动物模型（如SMAL）在捕捉种内变异方面的局限性。
• 评估基于玩具构建的3D统计模型是否能准确重建真实马匹的解剖结构与运动，基于2D图像和动作捕捉数据。
• 将hSMAL模型应用于关键任务——基于3D姿态序列的马匹跛行检测。
• 比较基于模型的姿态表示（hSMAL）与原始动作捕捉点数据在动物运动模式识别中的表现。

提出的方法

• 使用自定义的1,497个顶点模板和从37个马玩偶中学习到的形状空间，通过参考模板的线性形变，构建新的马匹特异性SMAL模型（hSMAL）。
• 将hSMAL模型定义为函数M(β, θ, γ)，其中β表示形状系数，θ表示相对3D关节旋转（姿态），γ表示平移。
• 采用源自原始SMAL框架的训练流程，重点聚焦于不同品种和年龄马匹的形状变异。
• 通过轮廓和2D关键点监督，将hSMAL模型拟合至3D动作捕捉数据和多视角视频，优化形状与姿态参数。
• 从拟合后的hSMAL模型中提取3D姿态序列，作为相对关节角度（θ）和关节位置，用于下游分类任务。
• 在hSMAL和动作捕捉数据生成的姿态序列上，训练并评估时空图卷积网络（ST-GCN），实现五类跛行分类。

实验结果

研究问题

• RQ1 基于马玩偶训练的3D统计形状模型能否泛化至从2D视频和动作捕捉数据中准确重建真实马匹的3D形态？
• RQ2 hSMAL模型在重建真实马匹形态与姿态方面是否优于通用SMAL模型？
• RQ3 hSMAL生成的3D姿态序列能否作为运动模式识别任务（如跛行检测）中稳健且信息丰富的表示？
• RQ4 当使用hSMAL姿态参数与原始3D动作捕捉关节位置时，ST-GCN在跛行分类中的性能表现如何？
• RQ5 在使用hSMAL生成的姿态序列时，数据增强是否能提升跛行分类的性能？

主要发现

• hSMAL模型在真实马匹上的平均3D重建误差为7 cm，约为通用SMAL模型14 cm误差的一半。
• 基于hSMAL的姿态序列在跛行分类中的准确率与原始3D动作捕捉点相当或略优，七名受试者平均准确率达33.0%（对比原始点的31.1%）。
• 通过序列镜像进行数据增强可提升所有输入类型的表现，hSMAL姿态参数在增强条件下达到最高平均准确率35.3%。
• hSMAL模型提供了稳定且解剖学上合理的马匹运动表示，可能通过形状先验和运动学约束提升性能价值。
• 该模型实现了无标记运动分析，为真实场景中的跛行检测提供了比可穿戴传感器更少侵入性的替代方案。
• 该方法证明了利用玩具衍生的3D模型实现真实马匹中详细动物运动分析的可行性，支持其在未来非受限环境中的部署。