[论文解读] A Probabilistic Representation for Dynamic Movement Primitives

Franziska Meier, Stefan Schaal|arXiv (Cornell University)|Dec 18, 2016

Robot Manipulation and Learning参考文献 15被引用 19

一句话总结

该论文提出了一种动态运动基元（DMPs）的概率公式化方法，将其建模为带有控制输入的线性动态系统，从而支持使用卡尔曼滤波与平滑进行在线推理。该方法通过基于不确定性的增益自然地整合传感器反馈，实现轨迹的实时调制与通过似然度监控实现的故障检测，在220个测试案例的数据集上验证了100%的故障检测准确率。

ABSTRACT

Dynamic Movement Primitives have successfully been used to realize imitation learning, trial-and-error learning, reinforce- ment learning, movement recognition and segmentation and control. Because of this they have become a popular represen- tation for motor primitives. In this work, we showcase how DMPs can be reformulated as a probabilistic linear dynamical system with control inputs. Through this probabilistic repre- sentation of DMPs, algorithms such as Kalman filtering and smoothing are directly applicable to perform inference on pro- prioceptive sensor measurements during execution. We show that inference in this probabilistic model automatically leads to a feedback term to online modulate the execution of a DMP. Furthermore, we show how inference allows us to measure the likelihood that we are successfully executing a given motion primitive. In this context, we show initial results of using the probabilistic model to detect execution failures on a simulated movement primitive dataset.

研究动机与目标

• 开发一种DMP的概率表示方法，以支持不确定性传播与在线推理。
• 通过传感器测量与卡尔曼滤波，实现在DMP执行过程中的在线反馈调制。
• 通过监控学习到的DMP模型下观测到的传感器数据的似然度，提供一种系统化的执行故障检测方法。
• 通过将预期传感器轨迹与运动基元关联，将感官记忆整合到DMP中。
• 展示概率DMP框架在鲁棒运动执行与故障检测中的实用性。

提出的方法

• 将DMP重新表述为带有相位依赖性变异性的强迫项的概率线性动态系统。
• 使用状态空间表示法建模DMP动力学，其中位置、速度和加速度为隐状态，而强迫项是相位的概率函数。
• 应用卡尔曼滤波与平滑，根据噪声传感器观测推断最可能的轨迹，自动生成反馈项。
• 利用卡尔曼增益矩阵根据不确定性对反馈进行缩放，确保对期望轨迹的自适应调制。
• 通过学习到的、与相位相关的协方差，将DMP的非线性性表示为基函数的加权组合。
• 通过计算观测传感器数据在模型下的对数似然度实现故障检测；若似然度低于训练似然度最小值的两倍，则判定为故障。

实验结果

研究问题

• RQ1 DMP能否被重新表述为概率线性动态系统，以实现感知不确定性的推理？
• RQ2 如何利用卡尔曼滤波在DMP中实现在线反馈调制，而无需引入临时耦合项？
• RQ3 能否利用概率DMP模型下观测传感器数据的似然度来检测执行故障？
• RQ4 与传统DMP相比，概率DMP框架在处理干扰与偏差方面表现如何？
• RQ5 该模型能否通过基于似然度的监控，以高精度检测人工执行阻塞？

主要发现

• 概率DMP公式化方法通过卡尔曼滤波实现了在线轨迹调制，反馈自然地根据不确定性进行缩放。
• 概率DMP中的反馈项源自卡尔曼创新，无需针对任务调整增益参数。
• 通过似然度监控实现的故障检测成功识别出全部220个受扰动的测试案例为故障，非受扰动执行中仅出现2例误报。
• 训练演示的最小对数似然度被用作基线，任何低于该值两倍的情况均触发故障分类。
• 在包含22个运动基元与每个基元10次演示的二维字母书写数据集中，该方法对人工阻塞实现了100%的检测率。
• 该概率模型在保持原始DMP动力学的同时，通过系统化的不确定性处理与感官反馈整合，增强了鲁棒性。