[论文解读] Learning Mobile Robot Based on Adaptive Controlled Markov Chains

Valery Vilisov|arXiv (Cornell University)|Jan 1, 2015

Reinforcement Learning in Robotics参考文献 3被引用 2

一句话总结

本文提出了一种基于受控马尔可夫链来建模和学习人类操作员决策偏好的自适应学习算法，用于移动机器人。通过求解马尔可夫收益链的逆问题，系统从操作员行为中估计转移概率和收益函数，实现对与操作员主观策略高度一致的策略的快速收敛，仿真结果验证了100次30步周期的演示中该方法的有效性。

ABSTRACT

Herein we suggest a mobile robot-training algorithm that is based on the preference approximation of the decision taker who controls the robot, which in its turn is managed by the Markov chain. Setup of the model parameters is made on the basis of the data referring to the situations and decisions involving the decision taker. The model that adapts to the decision taker's preferences can be set up either a priori, during the process of the robot's normal operation, or during specially planned testing sessions. Basing on the simulation modelling data of the robot's operation process and on the decision taker's robot control we have set up the model parameters thus illustrating both working capacity of all algorithm components and adaptation effectiveness.

研究动机与目标

• 开发一种方法，使移动机器人能够学习并适应人类操作员的主观决策偏好。
• 将机器人的行为建模为受控马尔可夫决策过程（MDP），其中收益函数通过观察到的操作员行为推断得出。
• 利用观察到的行为数据实现实时策略自适应，无论是在正常运行期间还是在测试会话中。
• 验证逆MDP方法在准确估计操作员偏好结构方面的有效性。

提出的方法

• 该方法使用逆马尔可夫收益链（RPMDP）从观察到的操作员决策中推断收益函数和转移概率。
• 采用三阶段算法：(1) 从决策序列中识别纯策略，(2) 使用贝叶斯更新迭代优化转移概率估计，(3) 通过与观测结果的递归相关性估计收益值。
• 模型在100次演示的模拟数据上进行训练，每次包含30个决策步骤，采用完全可观测的MDP框架。
• 通过迭代过程监控并可视化概率和收益估计的收敛性，显示其快速稳定。
• 通过使用估计参数求解直接MDP问题，最终生成策略，使机器人能够模仿操作员的行为。
• 系统支持“热”更新，允许在不中断机器人运行的情况下重新适应。

实验结果

研究问题

• RQ1 移动机器人能否通过观察操作员行为的学习，掌握并复制其决策偏好？
• RQ2 逆MDP方法在有限行为数据下，估计真实收益函数和转移概率的有效性如何？
• RQ3 与操作员实际策略相比，估计策略的收敛速度和准确性如何？
• RQ4 该模型能否在不中断机器人运行的情况下实现实时动态更新？

主要发现

• 该算法实现了转移概率和收益函数估计的快速收敛，概率估计在40至60步内即稳定。
• 估计的收益值与真实模型值的偏差在10至15个单位以内（例如，r12(1)达到约79，与表1中模型值79一致）。
• 在稳态下，估计策略的平均收益达到71个单位，与操作员纯策略的收益高度接近，表明对决策主体偏好的高保真度。
• 系统成功从决策序列中识别出操作员的纯策略，证实了偏好建模的准确性。
• 逆MDP方法使机器人生成的策略表现与人类操作员自身策略相当，未出现性能下降。
• 该模型支持动态再适应和“热”更新，实现在偏好变化或非平稳环境下的持续学习。