[论文解读] A Learning Based Optimal Human Robot Collaboration with Linear Temporal Logic Constraints

Bo Wu, Bin Hu+1 more|arXiv (Cornell University)|May 31, 2017

Robot Manipulation and Learning参考文献 25被引用 9

一句话总结

本文提出了一种基于学习的最优任务分配框架，用于在满足线性时序逻辑（LTL）约束的人机协作系统中，将人类信任和疲劳建模为具有未知转移概率的马尔可夫决策过程（MDPs）。通过一种受PAC学习启发的算法，该框架学习系统模型，并推导出一种策略，以最小化每个任务周期的平均成本，同时最大化满足LTL规范的概率，性能边界表明，所学策略在足够样本下可任意接近真实模型下的最优策略。

ABSTRACT

This paper considers an optimal task allocation problem for human robot collaboration in human robot systems with persistent tasks. Such human robot systems consist of human operators and intelligent robots collaborating with each other to accomplish complex tasks that cannot be done by either part alone. The system objective is to maximize the probability of successfully executing persistent tasks that are formulated as linear temporal logic specifications and minimize the average cost between consecutive visits of a particular proposition. This paper proposes to model the human robot collaboration under a framework with the composition of multiple Markov Decision Process (MDP) with possibly unknown transition probabilities, which characterizes how human cognitive states, such as human trust and fatigue, stochastically change with the robot performance. Under the unknown MDP models, an algorithm is developed to learn the model and obtain an optimal task allocation policy that minimizes the expected average cost for each task cycle and maximizes the probability of satisfying linear temporal logic constraints. Moreover, this paper shows that the difference between the optimal policy based on the learned model and that based on the underlying ground truth model can be bounded by arbitrarily small constant and large confidence level with sufficient samples. The case study of an assembly process demonstrates the effectiveness and benefits of our proposed learning based human robot collaboration.

研究动机与目标

• 解决在具有持续任务和人类认知状态（如信任和疲劳）不确定性的场景下，人机系统中最优任务分配的挑战。
• 开发一种框架，以最大化满足LTL规范的概率，同时最小化每个任务周期的平均成本。
• 高效且保证精度地学习人类信任和疲劳模型的未知MDP转移概率。
• 确保从所学模型推导出的最优策略在理论上与基于真实底层模型的最优策略足够接近。
• 通过一个真实世界装配过程案例研究，证明该框架的有效性。

提出的方法

• 将人机系统建模为复合MDP，整合任务、机器人、人类疲劳和人类信任模型。
• 将人类认知状态（信任、疲劳）表示为具有可能未知转移概率的MDP。
• 使用一种受PAC学习启发的算法，以高置信度和有界误差学习MDP模型。
• 将任务分配问题表述为在LTL约束下的最优控制器综合问题。
• 利用所学模型，通过ACPC（每个周期的平均成本）最小化方法计算T周期最优策略。
• 建立理论边界，表明在样本足够多时，所学策略与真实最优策略之间的差异可被任意缩小。

实验结果

研究问题

• RQ1 基于学习的方法能否有效合成在人类认知状态动态未知的人机系统中的最优任务分配策略？
• RQ2 在线性时序逻辑（LTL）规范中，如何将长期期望行为整合到随机人机协作框架中？
• RQ3 从学习得到的MDP模型推导出的最优策略与基于真实模型的最优策略之间的性能差距是多少？
• RQ4 在转移概率未知的情况下，如何保证学习过程以高置信度达到期望的精度水平？
• RQ5 在人类认知状态持续演化的人机协作系统中，该框架在长期任务执行下能多大程度维持系统性能？

主要发现

• 学习算法在812,872个周期内耗时206秒成功获取MDP模型，T周期ACPC为1.134。
• 无限时域情况下的最优ACPC为1.128，表明T周期策略与无界最优策略几乎完全一致。
• 在样本足够多时，所学策略与真实最优策略之间的差异可被有界常数控制，且置信度很高。
• 该框架确保系统满足LTL规范，即无限次访问完成状态，并能立即从机器人故障状态中恢复。
• 案例研究表明，所提方法在真实装配过程中有效平衡了成本最小化与LTL规范满足性。
• 该方法假设可实时完美观测人类状态，未来工作将通过认知状态感知技术的进步来放宽此假设。