[论文解读] Hidden Markov Models derived from Behavior Trees

Blake Hannaford|arXiv (Cornell University)|Jul 23, 2019

Time Series Analysis and Forecasting参考文献 27被引用 4

一句话总结

本文建立了一种新颖的数学关系，将带有概率信息的增强型行为树（BTs）与隐马尔可夫模型（HMMs）关联起来，使得既有的HMM算法（如Baum-Welch和Viterbi）能够应用于噪声环境下的基于任务的系统中的状态估计与参数识别。其核心贡献是提出了一种系统化方法，可从一个概率增强型行为树中推导出唯一的HMM，从而实现对人类或机器人任务表现的噪声观测数据进行稳健分析。

ABSTRACT

Behavior trees are rapidly attracting interest in robotics and human task-related motion tracking. However no algorithms currently exist to track or identify parameters of BTs under noisy observations. We report a new relationship between BTs, augmented with statistical information, and Hidden Markov Models. Exploiting this relationship will allow application of many algorithms for HMMs (and dynamic Bayesian networks) to data acquired from BT-based systems.

研究动机与目标

• 解决在噪声观测下对行为树进行追踪或参数识别的算法缺乏问题。
• 建立概率增强型行为树与隐马尔可夫模型之间的正式关系。
• 使成熟的标准HMM算法（如Baum-Welch和Viterbi）可用于基于BT的系统中的状态估计与系统识别。
• 在观测数据受噪声污染的情况下，促进对人类或机器人任务表现的时间序列数据分析。
• 扩展HMM与动态贝叶斯网络在BT建模系统中的适用性。

提出的方法

• 通过引入统计或先验概率信息，将行为树增强为增强型行为树（ABT）。
• 通过将BT节点与转移关系映射为HMM的状态与转移概率，从ABT中推导出唯一的隐马尔可夫模型（HMM）。
• 利用ABT的输出概率（Bij）与转移概率（Aij）定义HMM的输出矩阵与转移矩阵。
• 应用标准HMM算法：使用Viterbi算法进行状态序列解码，使用Baum-Welch算法进行参数识别。
• 使用分歧度量（如Jensen-Shannon分歧）评估从ABT推导出的HMM的可解码性。
• 通过从6状态和16状态ABT生成的合成数据对方法进行验证，数据中包含受控扰动与不同透明度水平的状态。

实验结果

研究问题

• RQ1 能否将带有概率增强的的行为树正式映射为唯一的隐马尔可夫模型？
• RQ2 当应用于从增强型BT生成的数据时，标准HMM算法（Viterbi与Baum-Welch）的性能如何？
• RQ3 模型规模与状态透明度（即状态可区分性）对参数识别与状态解码准确性的影响是什么？
• RQ4 输出分布之间的分歧度量如何预测BT衍生HMM中成功解码的可行性？
• RQ5 所推导的HMM框架能否在噪声真实世界任务表现数据中支持稳健的系统识别与状态估计？

主要发现

• 当输出分布之间的Jensen-Shannon分歧（JSD）较高（JSD ≈ 1.0）时，Viterbi算法在状态序列解码中实现了近乎完美的性能，即使生成模型与解码模型的参数存在显著差异。
• 当生成模型与解码模型不一致时，Baum-Welch参数识别的误差更高，收敛后均方根误差（RMS error）范围为0.2至0.6，而仅模型扰动时误差仅为0.1。
• 在6状态模型中，参数估计误差低于16状态模型，尤其是在状态被遮蔽时（R=0），表明在更小、更简单的模型上性能更优。
• 当状态透明度最高时（R=5），参数估计最为准确，因为明确的转移减少了估计不确定性。
• 基于标注数据计算的分歧度量能有效预测解码性能，分歧度越高，状态序列恢复效果越好。
• 该方法使HMM与动态贝叶斯网络算法可应用于基于BT的系统，显著扩展了机器人学与人体运动追踪中任务建模的分析工具集。