[论文解读] Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach

Zhe Zhang, Chunyu Wang+2 more|arXiv (Cornell University)|Mar 25, 2020

Human Pose and Action Recognition参考文献 34被引用 10

一句话总结

本文提出了一种基于可穿戴IMU的几何融合方法，以提升多视角2D姿态估计并改善3D人体姿态恢复。通过引入方向正则化网络（ORN），利用IMU方向优化2D特征；并通过方向正则化图像结构模型（ORPSM），结合IMU数据强制实现3D一致性，该方法在Total Capture数据集上将3D姿态误差降低至24.6 mm，显著优于先前的最先进方法。

ABSTRACT

We propose to estimate 3D human pose from multi-view images and a few IMUs attached at person's limbs. It operates by firstly detecting 2D poses from the two signals, and then lifting them to the 3D space. We present a geometric approach to reinforce the visual features of each pair of joints based on the IMUs. This notably improves 2D pose estimation accuracy especially when one joint is occluded. We call this approach Orientation Regularized Network (ORN). Then we lift the multi-view 2D poses to the 3D space by an Orientation Regularized Pictorial Structure Model (ORPSM) which jointly minimizes the projection error between the 3D and 2D poses, along with the discrepancy between the 3D pose and IMU orientations. The simple two-step approach reduces the error of the state-of-the-art by a large margin on a public dataset. Our code will be released at https://github.com/CHUNYUWANG/imu-human-pose-pytorch.

研究动机与目标

• 解决单目和多视角3D人体姿态估计中的遮挡问题。
• 提升多视角设置下2D姿态估计的准确性，特别是对手腕和脚踝等易被遮挡关节约的估计。
• 在流水线早期阶段整合惯性测量（IMU）以指导视觉特征学习。
• 开发一种几何融合框架，联合优化基于图像投影和IMU方向的3D姿态一致性。
• 通过合成虚拟方向，在无真实IMU的数据集上验证方法的泛化能力。

提出的方法

• 提出一种方向正则化网络（ORN），利用IMU方向作为结构先验，增强多视角2D姿态估计中的跨关节特征融合。
• 引入一种几何约束，利用IMU方向数据在3D空间中强制实现关节相对位置的一致性，以改善2D关键点定位。
• 采用增强方向先验的图像结构模型（ORPSM），联合最小化3D姿态与IMU测量之间的投影误差和方向偏差。
• 采用两阶段流水线：首先通过ORN优化2D热图，然后利用ORPSM结合几何约束将热图提升至3D。
• 应用联合优化策略，最小化2D投影误差与预测3D肢体方向与实测IMU方向之间的角度偏差。
• 在Total Capture（含真实IMU）和H36M（含合成IMU方向）数据集上验证方法，证明其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 IMU数据能否用于提升多视角设置下2D姿态估计的准确性，尤其是在遮挡情况下？
• RQ2 如何在早期阶段有效融合惯性测量与视觉特征，以增强3D姿态估计？
• RQ3 在3D姿态恢复中引入方向先验是否能减少因2D检测不准确导致的误差？
• RQ4 通过使用合成方向，该方法能否在无真实IMU数据集上实现良好泛化？
• RQ5 通过IMU先验联合融合2D与3D特征，是否比独立预测图像与IMU后进行后期融合更有效？

主要发现

• ORN模块通过利用基于IMU的结构先验，将如肘部和手腕等关节的3D姿态误差降低最多达10 mm，尤其在遮挡情况下效果显著。
• ORPSM模型在Total Capture数据集上实现3D位置误差为24.6 mm，显著优于先前最先进方法（29 mm）。
• 通过IMU先验融合2D与3D特征具有互补性：同时使用ORN与ORPSM可将误差降低至30.2 mm，显示出协同增益效果。
• 在H36M数据集上使用合成IMU方向时，该方法持续优于基线性能，尤其在踝部等易被遮挡的关节约表现更优。
• 在Total Capture上，该方法优于IMUPVH和LSTM-AE，表明通过IMU引导特征学习实现的早期视觉-惯性融合，比独立预测后的后期融合更有效。
• 即使在周期性动作如“行走”中，该方法仍表现出优越性能，尽管由于循环模型在这些序列上的归纳偏差，仍存在轻微性能差距。