[论文解读] Multi-Advisor Reinforcement Learning

Romain Laroche, Mehdi Fatemi+2 more|arXiv (Cornell University)|Apr 3, 2017

Reinforcement Learning in Robotics参考文献 26被引用 14

一句话总结

本文提出多顾问强化学习（MAd-RL），一种将单智能体强化学习问题分解为多个专业化顾问的框架，每个顾问基于不同关注点提供动作价值估计。该方法引入共情规划——优于自中心和无差别方法——在噪声环境下具有鲁棒性，并在顾问使用完整状态空间时保证收敛性，实现接近最优的性能。

ABSTRACT

We consider tackling a single-agent RL problem by distributing it to $n$ learners. These learners, called advisors, endeavour to solve the problem from a different focus. Their advice, taking the form of action values, is then communicated to an aggregator, which is in control of the system. We show that the local planning method for the advisors is critical and that none of the ones found in the literature is flawless: the egocentric planning overestimates values of states where the other advisors disagree, and the agnostic planning is inefficient around danger zones. We introduce a novel approach called empathic and discuss its theoretical aspects. We empirically examine and validate our theoretical findings on a fruit collection task.

研究动机与目标

• 解决现有局部规划方法在多顾问强化学习中的局限性，特别是危险或噪声环境下的过估计和低效问题。
• 设计一种新型规划策略——共情规划，使其局部顾问决策与全局最优贝尔曼方程对齐。
• 在具有不同噪声水平和折扣因子的果物收集（Pac-Boy）环境中，通过实验验证理论假设。
• 证明共情规划相比自中心和无差别方法，能够实现更快、更稳定、更可靠的训练。
• 建立共情规划收敛至全局最优的条件，特别是在顾问可访问完整状态空间时。

提出的方法

• 将单智能体强化学习问题分解为 n 个独立顾问，每个顾问基于不同关注点（如奖励函数、状态空间或学习技术）进行训练。
• 使用聚合器将顾问的局部 Q 值整合为全局策略，实现分布式决策。
• 实现三种局部规划策略：自中心（最大化自身未来回报）、无差别（对所有未来动作取平均）和共情（假设聚合器将执行下一步动作）。
• 形式化全局贝尔曼方程，并表明自中心规划将 ∑max 误操作为 max∑，导致过估计和吸引子状态。
• 推导共情规划方法，确保在顾问可访问完整状态空间时，其局部 Q 值与全局最优贝尔曼方程对齐。
• 使用 DQN 结合经验回放和目标网络训练顾问，并在带有噪声和不同 γ 值的自定义 Pac-Boy 环境中评估性能。

实验结果

研究问题

• RQ1 现有局部规划方法（自中心和无差别）在危险或噪声环境中为何会出现过估计和低效问题？
• RQ2 能否设计一种新型规划策略，使其与全局最优贝尔曼方程对齐，同时保持实际收敛性？
• RQ3 共情规划在稳定性、抗噪声能力和复杂任务的最终性能方面是否优于自中心和无差别方法？
• RQ4 在何种条件下共情规划能收敛至全局最优，特别是在顾问具有部分或完整状态信息时？
• RQ5 折扣因子 γ 的选择在多大程度上影响自中心规划的性能和稳定性？这一问题能否通过替代规划策略缓解？

主要发现

• 自中心规划在分歧区域因过估计导致‘无操作’动作被优先选择，尤其在高 γ 值下形成吸引子状态。
• 当 γ = 0.9 时，自中心规划表现差且易陷入吸引子；当 γ = 0.4 时，其得分虽高但噪声环境下不稳定。
• 无差别规划因对所有未来动作序列赋予相等权重，即使幽灵相距甚远，也因过度谨慎而无法高效收集靠近幽灵的果物。
• 共情规划在 Pac-Boy 任务中实现接近最优性能，在干净和噪声环境下均优于自中心（γ=0.4）和无差别方法。
• 在噪声奖励（σ = 0.1）条件下，共情规划保持鲁棒性并持续优于自中心规划，后者因低 γ 和噪声敏感性而变得短视。
• 在 Pac-Boy 环境中，共情规划仅需 10 个训练周期即可可靠收敛，展现出快速且稳定的训练过程，而在部分状态信息设置下，自中心和无差别方法缺乏收敛保证。