[论文解读] Improved 2D Keypoint Detection in Out-of-Balance and Fall Situations -- combining input rotations and a kinematic model

Michael Zwölfer, D. Heinrich+5 more|arXiv (Cornell University)|Dec 22, 2021

Human Pose and Action Recognition被引用 4

一句话总结

本文提出一种后处理方法，通过结合旋转输入帧与运动学模型，提升在高山滑雪摔倒及失衡等挑战性场景下的2D关键点检测性能。通过在36个旋转角度（每10°一个）处理每一帧，并应用alpha-beta-gamma滤波器估计关键点轨迹，该方法在摔倒情境下将PCK@0.2提升最高达21%，显著增强了用于损伤机制分析的姿态估计性能。

ABSTRACT

Injury analysis may be one of the most beneficial applications of deep learning based human pose estimation. To facilitate further research on this topic, we provide an injury specific 2D dataset for alpine skiing, covering in total 533 images. We further propose a post processing routine, that combines rotational information with a simple kinematic model. We could improve detection results in fall situations by up to 21% regarding the PCK@0.2 metric.

研究动机与目标

• 解决当前最先进关键点检测器在高山滑雪中常见的失衡与摔倒情境下表现不佳的问题。
• 开发一种后处理流程，提升在罕见、极端姿态及高遮挡场景下的检测精度。
• 创建并公开发布一个包含533帧标注的、面向损伤的2D关键点数据集，数据源自高山滑雪摔倒场景。
• 利用基于深度学习的姿态估计技术，实现更精确的前十字韧带（ACL）损伤机制生物力学分析。
• 通过提供一种稳健、自动化的姿态估计方法，减少对人工匹配的依赖，适用于困难的动作捕捉场景。

提出的方法

• 该方法以0°至360°之间每10°为间隔，对每一帧输入进行36个旋转角度的处理。
• 在每个旋转后的帧上应用预训练的关键点检测器（如DCPose或AlphaPose），为每个关节生成36个关键点候选。
• 利用标准旋转矩阵将所有预测的关键点旋转回原始帧的坐标系。
• 应用alpha-beta-gamma滤波器，基于关键点在帧间的位移、速度与加速度估计其真实位置。
• 最终关键点选择为36个旋转候选中置信度最高的一个，同时利用运动学滤波纠正或恢复缺失的检测结果。
• 该方法仅选择性地应用于低置信度预测的帧（如失衡或摔倒状态），以保持常规滑雪场景下的性能。

实验结果

研究问题

• RQ1 旋转增强结合运动学建模是否能提升在滑雪摔倒中常见的极端非直立姿态下的2D关键点检测性能？
• RQ2 与基线模型相比，所提出的后处理流程在摔倒与失衡场景下的检测性能有何影响？
• RQ3 旋转输入与运动学滤波在多大程度上减少了由遮挡、运动模糊及倒置身体姿态引起的误差？
• RQ4 该方法是否在常规滑雪中保持高性能的同时，显著提升在困难帧中的检测效果？
• RQ5 该方法能否实现更可靠的高山滑雪中前十字韧带（ACL）损伤机制生物力学分析？

主要发现

• 使用DCPose时，该方法在摔倒情境下将PCK@0.2最高提升21%，平均精度（AP）提升0.18。
• 对于DCPose，PCK@0.2在摔倒场景中从基线的0.51提升至后处理后的0.72。
• 尽管在常规滑雪中的性能略有下降，AlphaPose在摔倒帧中仍实现了AP提升0.18，PCK@0.2提升8%。
• 摔倒帧中的关键点分布高度可变，且常呈双峰分布，表明频繁出现检测失败或匹配错误。
• 运动学模型在原始方向无检测结果时，成功恢复了关键点，尤其在倒置或压缩姿态下表现显著。
• 该方法在保持常规滑雪中高性能的同时，显著提升了在具有损伤相关性的挑战性场景中的检测性能。