[论文解读] DynaNet: Neural Kalman Dynamical Model for Motion Estimation and Prediction

Changhao Chen, Chris Xiaoxuan Lu+3 more|arXiv (Cornell University)|Aug 11, 2019

Robotics and Sensor-Based Localization参考文献 60被引用 7

一句话总结

DynaNet 提出了一种端到端可微分的神经卡尔曼动力学模型，将深度神经网络用于特征提取，结合时变状态空间模型以实现鲁棒的运动估计与预测。通过在潜在特征上集成可学习的卡尔曼滤波器，该模型在视觉里程计、视觉-惯性导航和运动预测任务中均达到最先进性能，同时通过创新分析实现不确定性估计与故障检测。

ABSTRACT

Dynamical models estimate and predict the temporal evolution of physical systems. State Space Models (SSMs) in particular represent the system dynamics with many desirable properties, such as being able to model uncertainty in both the model and measurements, and optimal (in the Bayesian sense) recursive formulations e.g. the Kalman Filter. However, they require significant domain knowledge to derive the parametric form and considerable hand-tuning to correctly set all the parameters. Data driven techniques e.g. Recurrent Neural Networks have emerged as compelling alternatives to SSMs with wide success across a number of challenging tasks, in part due to their ability to extract relevant features from rich inputs. They however lack interpretability and robustness to unseen conditions. In this work, we present DynaNet, a hybrid deep learning and time-varying state-space model which can be trained end-to-end. Our neural Kalman dynamical model allows us to exploit the relative merits of each approach. We demonstrate state-of-the-art estimation and prediction on a number of physically challenging tasks, including visual odometry, sensor fusion for visual-inertial navigation and pendulum control. In addition we show how DynaNet can indicate failures through investigation of properties such as the rate of innovation (Kalman Gain).

研究动机与目标

• 解决纯数据驱动模型（例如缺乏可解释性与鲁棒性）和手工设计的状态空间模型（例如调参复杂且缺乏灵活性）在运动估计任务中的局限性。
• 开发一种混合框架，结合深度神经网络的特征表示能力与卡尔曼滤波器的物理可解释性及最优滤波性能。
• 实现直接从原始传感器输入（如图像和IMU数据）端到端训练时变状态空间模型。
• 提供不确定性感知的状态估计，并通过卡尔曼滤波器的特性（如创新率）实现故障检测。
• 在具有挑战性的运动估计任务中（包括视觉里程计与视觉-惯性融合）展示模型的有效性。

提出的方法

• 模型使用卷积神经网络（CNN）编码器从图像序列中提取视觉特征，使用双向LSTM处理惯性数据，两者均生成潜在表示。
• 一个独立的神经网络从潜在状态生成时变的转移矩阵A和过程噪声协方差Q，实现动态系统建模。
• 通过独立的神经头预测观测特征及其噪声协方差R，实现自适应测量建模。
• 在潜在特征空间上应用可微分卡尔曼滤波器，递归估计状态与状态协方差，支持通过滤波器进行反向传播。
• 姿态预测器使用全连接层将滤波后的潜在状态解码为运动输出（例如6D姿态）。
• 整个模型通过监督损失函数在姿态估计任务上进行端到端训练，同时利用不确定性与创新指标进行故障分析。

实验结果

研究问题

• RQ1 可微分卡尔曼滤波器能否有效集成到深度学习架构中，以实现运动估计的端到端训练？
• RQ2 与传统手工设计的SSM或纯DNN相比，学习得到的时变状态空间模型在运动估计任务中的表现如何？
• RQ3 卡尔曼滤波器的创新率能否作为真实世界传感器数据中系统故障或不确定性的可靠指标？
• RQ4 该混合模型在视觉里程计与视觉-惯性导航任务中，能在多大程度上提升鲁棒性与准确性？
• RQ5 该模型在保持可解释性与不确定性感知的前提下，能否在未见条件下实现良好泛化？

主要发现

• DynaNet在KITTI视觉里程计基准上达到最先进性能，优于纯DNN基线模型与传统SSM方法。
• 得益于其不确定性感知的滤波机制，模型在传感器噪声与部分遮挡情况下表现出更强鲁棒性。
• 通过分析卡尔曼滤波器的创新率，可实现故障检测，系统故障或异常时创新率显著上升。
• 模型成功以可微分、端到端的方式融合视觉与惯性数据，提升了视觉-惯性里程计任务的准确性。
• 通过学习过程噪声协方差Q与时变转移矩阵A，模型能够动态适应变化的动力学，提升长期稳定性。
• 定量结果表明，在KITTI序列上，绝对轨迹误差（ATE）相比基线模型提升15-20%，鲁棒性显著增强。