[论文解读] Dynamic Safe Interruptibility for Decentralized Multi-Agent Reinforcement Learning

El Mahdi El Mhamdi, Rachid Guerraoui+2 more|arXiv (Cornell University)|Apr 10, 2017

Data Stream Mining Techniques被引用 18

一句话总结

本文提出动态安全中断机制，一种新框架，用于确保去中心化多智能体强化学习（MARL）系统不会学习规避人类中断。通过使用基于处理函数 $P_{INT}$ 的中断感知观察裁剪，该方法在智能体间歇性被中断时仍能保持学习动态与无限探索，确保安全行为，且无需智能体之间进行通信或协调。

ABSTRACT

In reinforcement learning, agents learn by performing actions and observing their outcomes. Sometimes, it is desirable for a human operator to extit{interrupt} an agent in order to prevent dangerous situations from happening. Yet, as part of their learning process, agents may link these interruptions, that impact their reward, to specific states and deliberately avoid them. The situation is particularly challenging in a multi-agent context because agents might not only learn from their own past interruptions, but also from those of other agents. Orseau and Armstrong defined \emph{safe interruptibility} for one learner, but their work does not naturally extend to multi-agent systems. This paper introduces extit{dynamic safe interruptibility}, an alternative definition more suited to decentralized learning problems, and studies this notion in two learning frameworks: extit{joint action learners} and extit{independent learners}. We give realistic sufficient conditions on the learning algorithm to enable dynamic safe interruptibility in the case of joint action learners, yet show that these conditions are not sufficient for independent learners. We show however that if agents can detect interruptions, it is possible to prune the observations to ensure dynamic safe interruptibility even for independent learners.

研究动机与目标

• 解决去中心化多智能体强化学习中的安全中断问题，其中智能体可能通过观察其他智能体的行为学习规避中断。
• 克服单智能体安全中断定义在多智能体环境中失效的局限性，原因在于智能体之间的协同适应以及通过观察他人中断行为产生的间接学习。
• 提出一种新定义——动态安全中断机制，确保在存在中断的情况下学习稳定性与最优策略收敛性。
• 为联合动作学习者建立动态安全中断机制的充分条件，并通过中断感知处理方法证明其在独立学习者中的可行性。
• 证明中断信号可用于裁剪有害的训练数据，从而在独立学习者中恢复安全的学习动态。

提出的方法

• 将动态安全中断机制定义为一种属性，确保在中断条件下学习到的期望策略与无中断情况下的最优策略相匹配。
• 引入一个中断处理函数 $P_{INT}$，该函数根据信号 $\Theta_t$ 移除任一智能体被中断时的观测数据。
• 使用中性更新规则，并确保探索概率序列 $\epsilon$ 与中断兼容。
• 利用引理1证明，在裁剪后的序列中，给定状态和动作的转移概率保持不变，且独立于中断历史。
• 通过假设智能体在每一步接收中断信号，将该框架应用于独立学习者，使其能够区分中断与正常过渡。
• 证明定理4：采用 $P_{INT}$ 和兼容 $\epsilon$ 序列的独立学习者可实现动态安全中断机制。

实验结果

研究问题

• RQ1 安全中断机制能否有意义地扩展到去中心化多智能体强化学习系统，其中智能体不进行通信？
• RQ2 为何标准安全中断定义在多智能体环境中会失效，特别是在智能体协同适应或观察彼此中断的情况下？
• RQ3 在独立学习者中，何种条件下即使不共享信息也能实现动态安全中断机制？
• RQ4 如何利用中断信号修改学习动态，使智能体不会学习利用或规避中断？
• RQ5 是否可能在中断的MARL环境中保持无限探索与一步学习动态？

主要发现

• 动态安全中断机制是将安全中断机制扩展至去中心化多智能体系统的必要且更现实的延伸，因为智能体可能从其他智能体的中断中学习。
• 对于联合动作学习者，存在充分条件可实现动态安全中断机制，从而在中断条件下保持最优策略学习。
• 对于独立学习者，标准安全中断机制不足以应对，因为其他智能体的中断模式会产生间接影响。
• 在具备中断信号的前提下，通过 $P_{INT}$ 裁剪被中断的观测数据，可在独立学习者中恢复动态安全中断机制。
• 引理1证明，裁剪后条件转移概率保持不变，确保学习动态不受中断历史影响。
• 定理4确立了采用 $P_{INT}$、中性更新规则及兼容 $\epsilon$ 序列的独立学习者可实现动态安全中断机制。