[论文解读] Helpfulness as a Key Metric of Human-Robot Collaboration

Richard G. Freedman, Steven J. Levine+2 more|arXiv (Cornell University)|Oct 10, 2020

AI-based Problem Solving and Planning参考文献 28被引用 6

一句话总结

本文提出了一种用于人机协作中机器人帮助程度的定量度量方法，定义为与人类单独执行相比，团队工作量的相对减少。该方法通过基于成本的比率形式化了帮助程度，在不确定性下的规划中展示了其应用，并通过仿真表明，风险规避行为会降低预期帮助程度，从而验证了该度量对决策权衡的敏感性。

ABSTRACT

As robotic teammates become more common in society, people will assess the robots' roles in their interactions along many dimensions. One such dimension is effectiveness: people will ask whether their robotic partners are trustworthy and effective collaborators. This begs a crucial question: how can we quantitatively measure the helpfulness of a robotic partner for a given task at hand? This paper seeks to answer this question with regards to the interactive robot's decision making. We describe a clear, concise, and task-oriented metric applicable to many different planning and execution paradigms. The proposed helpfulness metric is fundamental to assessing the benefit that a partner has on a team for a given task. In this paper, we define helpfulness, illustrate it on concrete examples from a variety of domains, discuss its properties and ramifications for planning interactions with humans, and present preliminary results.

研究动机与目标

• 定义一种可测量的、面向任务的机器人在人机协作中的帮助程度度量标准。
• 解决缺乏正式、定量标准来评估机器人在支持人类任务方面有效性的不足。
• 将帮助程度整合到规划与执行过程中，以指导机器人采取更具支持性的行为。
• 评估决策中的风险容忍度如何影响机器人行为的预期帮助程度。

提出的方法

• 将帮助程度 H 定义为团队成本的相对减少：H_R = (cost(人类单独) - cost(人机团队)) / cost(人类单独)。
• 在多种领域应用该度量，使用灵活的成本函数，超越步骤数，如时间或努力程度。
• 使用 PDDL 模型编码因果依赖关系，并在条件性场景中规划执行序列。
• 采用贝叶斯网络建模人类意图的不确定性，并在模糊情境下指导机器人决策。
• 通过蒙特卡洛方法，在 2,100 次模拟运行中，针对不同风险容忍度 Δ 计算预期帮助程度 E[H_R | O]。
• 引入帮助度量启发式方法和预期帮助程度作为决策工具，以平衡风险与支持性行为。

实验结果

研究问题

• RQ1 如何在不依赖显式目标知识的前提下，正式且定量地定义人机协作中的帮助程度？
• RQ2 在不确定的交互任务中，风险规避的决策行为在多大程度上降低了机器人的预期帮助程度？
• RQ3 成本函数的选择如何影响帮助度量的解释与实用性？
• RQ4 该帮助度量能否整合到规划算法中，以引导机器人采取更具支持性的行为？
• RQ5 模拟的机器人行为与真实人机交互中人类对帮助程度的预期相比如何？

主要发现

• 随着机器人变得更加风险规避，预期帮助程度下降，在模拟中 Δ ≈ 0.5 附近出现显著下降。
• 在蓝莓派示例中，相对帮助度量使团队效率提升了 33.3%，步骤数从 9 步减少到 6 步。
• 仿真表明，更高风险的机器人行为虽提高了预期帮助程度，但也增加了失败率。
• 该度量成功量化了主动协助与错误或反效果行为风险之间的权衡。
• 模型表明，帮助程度对动作选择和不确定性消解均敏感，尤其在人类意图不明确时更为显著。
• 结果表明，量化帮助度量可指导机器人规划，使其更符合人类对支持行为的预期。