[论文解读] Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

Changhao Chen, Peijun Zhao+4 more|arXiv (Cornell University)|Jan 13, 2020

Indoor and Outdoor Localization Technologies参考文献 34被引用 4

一句话总结

本文提出 L-IONet，一种轻量级深度学习框架，用于使用原始 IMU 数据实现实时行人惯性导航，并引入了牛津惯性里程计数据集（OxIOD），该数据集为大规模、高精度数据集，包含动作捕捉的真值。该方法在智能手机和智能手表上实现了高精度的设备端推理，在包括手持、口袋和推车携带等不同运动场景下，优于传统的 PDR 和先前的 DNN 模型。

ABSTRACT

Modern inertial measurements units (IMUs) are small, cheap, energy efficient, and widely employed in smart devices and mobile robots. Exploiting inertial data for accurate and reliable pedestrian navigation supports is a key component for emerging Internet-of-Things applications and services. Recently, there has been a growing interest in applying deep neural networks (DNNs) to motion sensing and location estimation. However, the lack of sufficient labelled data for training and evaluating architecture benchmarks has limited the adoption of DNNs in IMU-based tasks. In this paper, we present and release the Oxford Inertial Odometry Dataset (OxIOD), a first-of-its-kind public dataset for deep learning based inertial navigation research, with fine-grained ground-truth on all sequences. Furthermore, to enable more efficient inference at the edge, we propose a novel lightweight framework to learn and reconstruct pedestrian trajectories from raw IMU data. Extensive experiments show the effectiveness of our dataset and methods in achieving accurate data-driven pedestrian inertial navigation on resource-constrained devices.

研究动机与目标

• 解决在行人惯性导航中用于训练和评估深度学习模型的大规模、高精度、公开可用数据集缺乏的问题。
• 开发一种轻量级深度神经网络框架，能够在资源受限的设备上实现实时、设备端推理，用于行人惯性里程计。
• 实现从原始 IMU 数据中对多样化用户运动模式和设备放置方式下的轨迹进行准确且鲁棒的估计。
• 展示训练模型在未见环境和训练数据之外的运动类型上的泛化能力。

提出的方法

• 提出 L-IONet，一种使用空洞因果卷积（WaveNet 风格）的轻量级深度神经网络，用于建模原始 IMU 序列中的长程时间依赖性。
• 设计双分支架构：一个分支处理原始 IMU 数据（加速度计和陀螺仪）以预测三维位置，另一个分支学习速度预测以约束误差漂移。
• 集成残差连接和归一化层，以提高在资源受限设备上的训练稳定性和模型性能。
• 使用来自 OxIOD 数据集的动作捕捉真值，通过端到端监督学习训练模型。
• 通过减少参数数量和推理延迟，对模型进行边缘部署优化，实现在智能手机和智能手表上的实时推理。
• 未来可扩展使用知识蒸馏技术，进一步压缩模型以适配资源更低的设备。

实验结果

研究问题

• RQ1 轻量级深度学习模型是否能在资源受限的边缘设备上，仅从原始 IMU 数据中实现准确的行人惯性里程计？
• RQ2 与现有的基于 DNN 和基于模型的方法（如 PDR）相比，所提出的 L-IONet 框架在性能和效率方面表现如何？
• RQ3 在单一室内环境中训练的模型，能在多大程度上泛化到训练数据中未见的新环境和运动类型？
• RQ4 使用空洞因果卷积（WaveNet）在从原始 IMU 序列中建模复杂人体运动动力学方面有多有效？
• RQ5 大规模、公开可用的、具有细粒度真值的数据集是否能显著加速深度惯性导航领域的研究？

主要发现

• 所提出的 L-IONet 模型在轨迹估计精度方面优于基线 PDR 算法，尤其在非周期性运动（如推车移动）中，PDR 方法会失效。
• 在手持和手提包场景中，L-IONet 优于 IONet 基线模型，归因于其通过 WaveNet 风格的时间建模增强了对复杂运动动力学的建模能力。
• 该模型在低端智能手机和智能手表上实现了实时推理，证明了其在设备端部署的可行性。
• 尽管仅在 Vicon 动作捕捉室的数据上进行训练，L-IONet 仍能有效泛化到包含两层楼的大型室内建筑中的导航任务。
• OxIOD 数据集包含 158 个序列，总长 42.587 公里，真值精度达 0.5 毫米，为未来惯性导航研究提供了强有力的基准。
• L-IONet 中基于 WaveNet 的架构在捕捉非规则运动方面，比基于 LSTM 的 IONet 更为有效，尤其是在设备未固定于稳定位置时。