[论文解读] Learning to Switch Between Machines and Humans.

Vahid Balazadeh Meresht, Abir De+2 more|arXiv (Cornell University)|Feb 11, 2020

Reinforcement Learning in Robotics参考文献 49被引用 8

一句话总结

本文提出了一种强化学习算法，通过使用两层马尔可夫决策过程，在半自主系统中学习在人类与机器代理之间切换控制。该算法通过利用策略和环境转移的置信上限，实现了次线性遗憾，在障碍物避让模拟中优于通用算法。

ABSTRACT

Reinforcement learning agents have been mostly developed and evaluated under the assumption that they will operate in a fully autonomous manner -- they will take all actions. In this work, our goal is to develop algorithms that, by learning to switch control between machine and human agents, allow existing reinforcement learning agents to operate under different automation levels. To this end, we first formally define the problem of learning to switch control among agents in a team via a 2-layer Markov decision process. Then, we develop an online learning algorithm that uses upper confidence bounds on the agents' policies and the environment's transition probabilities to find a sequence of switching policies. We prove that the total regret of our algorithm with respect to the optimal switching policy is sublinear in the number of learning steps. Moreover, we also show that our algorithm can be used to find multiple sequences of switching policies across several independent teams of agents operating in similar environments, where it greatly benefits from maintaining shared confidence bounds for the environments' transition probabilities. Simulation experiments in obstacle avoidance in a semi-autonomous driving scenario illustrate our theoretical findings and demonstrate that, by exploiting the specific structure of the problem, our proposed algorithm is superior to problem-agnostic algorithms.

研究动机与目标

• 弥合强化学习中的空白：现有方法假设智能体完全自主，而现实世界系统则需要人机协作。
• 形式化定义一个两层马尔可夫决策过程，用于学习人类与机器代理之间的最优切换策略。
• 开发一种在线学习算法，通过策略和环境动态的置信区间自适应更新切换策略。
• 通过在多个独立智能体团队之间共享环境转移的置信区间，证明该算法在多团队场景下的可扩展性。
• 在半自主驾驶场景中验证该方法的性能，特别是在障碍物避让任务中，结果优于与问题无关的通用方法。

提出的方法

• 将切换控制问题建模为两层MDP，其中上层选择切换策略，下层控制代理行为。
• 对智能体策略和环境转移概率使用置信上限（UCB），以平衡探索与利用。
• 在多个独立团队之间共享置信区间，以提高样本效率并降低计算开销。
• 设计一种在线学习算法，根据观测结果和不确定性估计动态更新切换策略。
• 理论上证明相对于最优切换策略的遗憾为次线性，确保长期性能收敛。
• 在障碍物避让任务中引入领域特定的结构假设，以提升学习效率。

实验结果

研究问题

• RQ1 强化学习智能体能否学会在人类与机器代理之间切换控制，以提升半自主系统中的性能？
• RQ2 如何利用策略和环境转移的置信区间，以最小化动态切换场景中的遗憾？
• RQ3 在多个独立智能体团队之间共享置信区间，对学习效率和性能有何影响？
• RQ4 所提出的算法是否在结构化的真实世界任务（如障碍物避让）中优于通用强化学习方法？
• RQ5 与通用算法相比，利用问题结构在多大程度上能提升学习速度和准确性？

主要发现

• 所提算法相对于最优切换策略实现了次线性遗憾，表明其长期性能可收敛至近似最优。
• 在半自主驾驶环境的障碍物避让模拟中，该算法显著优于与问题无关的强化学习基线方法。
• 在多个独立团队之间共享置信区间可提高学习效率并降低总体遗憾。
• 利用策略和环境转移的结构化置信区间，可加快复杂任务中的收敛速度并提升决策质量。
• 仿真结果证实，利用领域特定的问题结构可使算法性能超越通用强化学习方法。