[论文解读] Ask4Help: Learning to Leverage an Expert for Embodied Tasks

Kunal Pratap Singh, Luca Weihs+4 more|arXiv (Cornell University)|Nov 18, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 Ask4Help，一种轻量级的策略，使具身人工智能智能体在需要时可请求专家协助，显著提升任务表现，同时最大限度减少帮助次数。该策略在不修改原始智能体的情况下进行训练，学习在性能与帮助成本之间取得平衡，使物体导航任务的成功率从52%提升至86%，房间重排任务的成功率从7%提升至90.4%，分别仅使用13%和39%的协助。

ABSTRACT

Embodied AI agents continue to become more capable every year with the advent of new models, environments, and benchmarks, but are still far away from being performant and reliable enough to be deployed in real, user-facing, applications. In this paper, we ask: can we bridge this gap by enabling agents to ask for assistance from an expert such as a human being? To this end, we propose the Ask4Help policy that augments agents with the ability to request, and then use expert assistance. Ask4Help policies can be efficiently trained without modifying the original agent's parameters and learn a desirable trade-off between task performance and the amount of requested help, thereby reducing the cost of querying the expert. We evaluate Ask4Help on two different tasks -- object goal navigation and room rearrangement and see substantial improvements in performance using minimal help. On object navigation, an agent that achieves a $52\%$ success rate is raised to $86\%$ with $13\%$ help and for rearrangement, the state-of-the-art model with a $7\%$ success rate is dramatically improved to $90.4\%$ using $39\%$ help. Human trials with Ask4Help demonstrate the efficacy of our approach in practical scenarios. We release the code for Ask4Help here: https://github.com/allenai/ask4help.

研究动机与目标

• 提升具身人工智能智能体在现实应用中的可靠性与性能，解决当前最先进模型约50%的时间出现失败的问题。
• 开发一种方法，使智能体仅在必要时请求专家协助，最大限度降低人工干预成本。
• 在不修改底层智能体参数的前提下训练帮助请求策略，确保方法的通用性并降低计算成本。
• 在推理阶段实现帮助成本的动态调整，使用户能够控制性能与协助频率之间的权衡。
• 通过算法专家和人类实验对方法进行验证，证明其鲁棒性与实际有效性。

提出的方法

• Ask4Help策略作为独立模块，通过模仿学习进行训练，观察智能体在何时无法推进任务以及何时专家干预更为有益。
• 采用兼顾任务成功与专家查询次数的奖励函数，鼓励在最小化但有效帮助请求的前提下进行决策。
• 仅使用原始智能体所需数据和计算资源的一小部分进行训练，实现高效微调，无需重新训练原始模型。
• 该方法与模型无关，可应用于任何预训练的具身人工智能智能体（如 Embodied CLIP），无需架构修改。
• 在推理阶段，用户可动态设置帮助请求的成本阈值，调整智能体请求专家协助的意愿。
• 该方法在仿真环境中通过算法专家和人类专家进行评估，人类实验通过在 AI2-THOR 中的自定义界面完成。

实验结果

研究问题

• RQ1 具身人工智能智能体能否学会在恰当时间请求专家协助，以最小帮助次数显著提升任务表现？
• RQ2 如何在不修改底层智能体参数的前提下，高效训练帮助请求策略？
• RQ3 任务成功率与专家查询频率之间的最优权衡是什么？该权衡是否可在推理阶段进行调整？
• RQ4 当使用人类专家与算法专家时，Ask4Help策略的表现如何？其对噪声或不完美专家信号是否具有鲁棒性？
• RQ5 Ask4Help策略能否泛化至不同具身人工智能任务，并适用于未来的最先进模型？

主要发现

• 在物体目标导航任务中，Ask4Help将成功率从52%提升至86%，仅使用13%的回合步骤涉及专家协助。
• 在房间重排任务中，该方法将性能从7%的成功率提升至90.4%，协助比例为39%，在一项具有挑战性的任务中实现了显著提升。
• 人类实验确认了Ask4Help的实际有效性，表明人类提供的协助在类似真实世界的情境中显著提升了智能体表现。
• 即使使用经过噪声污染的专家信号，该策略仍保持鲁棒性，性能仅出现轻微下降。
• Ask4Help策略仅在17%的回合步骤中使用专家动作，即实现了显著的性能提升，表明其在帮助利用效率方面表现优异。
• 消融实验表明，学习得到的Ask4Help策略优于手工编码的启发式规则，后者需固定步长阈值调优，且成功率更低。