[论文解读] Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time

Yinghao Huang, Manuel Kaufmann+4 more|arXiv (Cornell University)|Oct 10, 2018

Human Pose and Action Recognition参考文献 60被引用 58

一句话总结

DIP 通过一个深度递归网络在实时条件下仅用6个IMU重建全身SMPL姿态，方法是合成训练数据并利用带有实时滑动窗口的双向时间建模。

ABSTRACT

We demonstrate a novel deep neural network capable of reconstructing human full body pose in real-time from 6 Inertial Measurement Units (IMUs) worn on the user's body. In doing so, we address several difficult challenges. First, the problem is severely under-constrained as multiple pose parameters produce the same IMU orientations. Second, capturing IMU data in conjunction with ground-truth poses is expensive and difficult to do in many target application scenarios (e.g., outdoors). Third, modeling temporal dependencies through non-linear optimization has proven effective in prior work but makes real-time prediction infeasible. To address this important limitation, we learn the temporal pose priors using deep learning. To learn from sufficient data, we synthesize IMU data from motion capture datasets. A bi-directional RNN architecture leverages past and future information that is available at training time. At test time, we deploy the network in a sliding window fashion, retaining real time capabilities. To evaluate our method, we recorded DIP-IMU, a dataset consisting of $10$ subjects wearing 17 IMUs for validation in $64$ sequences with $330\,000$ time instants; this constitutes the largest IMU dataset publicly available. We quantitatively evaluate our approach on multiple datasets and show results from a real-time implementation. DIP-IMU and the code are available for research purposes.

研究动机与目标

• 在不使用完整摄像头系统的情况下，演示六个 IMU 的实时全身姿态重建。
• 利用来自大规模动作捕捉数据集生成的合成 IMU 数据来训练深度模型。
• 用递归神经网络建模时间动态，以在传感感知稀疏的条件下改进姿态估计。
• 结合加速度重建与归一化，以提高对真实数据的泛化能力。
• 提供公开可获得的 DIP-IMU 数据集及可供研究使用的代码。

提出的方法

• 通过在 SMPL 网格上放置虚拟传感器来合成 IMU 数据，并通过正运动学推导姿态方向，通过有限差分推导加速度。
• 训练一个基于双向 LSTM 的 RNN，将 IMU 输入映射到 SMPL 姿态参数，使用对数似然损失。
• 使用辅助任务来重建输入加速度，确保加速度信息在网络中传播。
• 在训练期间将目标姿态建模为正态分布，并在损失中使用相应的均值和方差。
• 通过根相对坐标系对 IMU 输入进行归一化，以实现对用户朝向的姿态不变性。
• 在真实 IMU 数据上对预训练模型进行微调，以缩小合成与实际分布之间的差距。

实验结果

研究问题

• RQ1 六个 IMU 能否在实时条件下提供准确的全身 SMPL 姿态？
• RQ2 如何利用来自 Mocap 数据集的合成 IMU 数据来训练鲁棒的姿态估计器？
• RQ3 相较于单向模型，双向时间模型是否在稀疏传感输入下提升姿态精度？
• RQ4 哪些训练策略（加速度重建、归一化、正则化）能提升真实世界的泛化能力？
• RQ5 在测试时使用滑动窗口对延迟和精度的影响是什么？

主要发现

• 该方法实现了从六个 IMU 的实时全身姿态估计。
• 带滑动窗口的双向时间建模在可接受的延迟（大约 85 毫秒）下提高了准确性。
• 辅助加速度重建任务提升了姿态预测。
• 先在合成 IMU 数据上进行训练，然后在真实数据上进行微调，缩小了合成与真实测量之间的差距。
• DIP 在 TotalCapture 和 DIP-IMU 基准测试上实现了 15.85 度的角度误差，优于竞争的离线方法，同时实现实时运行。