[论文解读] Separation of Concerns in Reinforcement Learning

Harm van Seijen, Mehdi Fatemi+2 more|arXiv (Cornell University)|Dec 15, 2016

Reinforcement Learning in Robotics参考文献 27被引用 7

一句话总结

本文提出了一种在强化学习中应用关注点分离（SoC）的框架，将单智能体任务分解为多个专业化智能体，每个智能体具有不同的奖励函数。通过将性能目标与学习目标解耦，该方法实现了更快的训练速度并有效实现了知识迁移，在Pac-Boy等复杂环境中的表现优于单智能体方法。

ABSTRACT

In this paper, we propose a framework for solving a single-agent task by using multiple agents, each focusing on different aspects of the task. This approach has two main advantages: 1) it allows for training specialized agents on different parts of the task, and 2) it provides a new way to transfer knowledge, by transferring trained agents. Our framework generalizes the traditional hierarchical decomposition, in which, at any moment in time, a single agent has control until it has solved its particular subtask. We illustrate our framework with empirical experiments on two domains.

研究动机与目标

• 解决稀疏奖励强化学习环境中学习速度缓慢的挑战。
• 探索将单智能体任务分解为多个专业化智能体是否能提升训练效率与性能。
• 通过在不同任务或配置中重用已训练智能体，实现知识迁移。
• 分析在非合作多智能体系统中，稳定且独立学习发生的条件。
• 证明将学习目标与性能目标解耦，可在复杂任务中实现更优策略的发现。

提出的方法

• 该框架使用多个智能体，每个智能体使用针对任务特定方面的奖励函数进行训练。
• 智能体之间为非合作关系，即每个智能体拥有独立的学习目标（奖励函数），与整体性能度量不同。
• 该方法通过允许多个智能体并行、独立学习，推广了分层强化学习，而非严格分层控制。
• 基于奖励函数结构与智能体交互关系，推导出独立学习的稳定性条件。
• 通过使用深度Q网络（DQN）并引入截断与缩放的内在奖励，平衡探索与利用。
• 通过在子任务上预训练智能体并将其迁移到完整任务，评估知识迁移效果。

实验结果

研究问题

• RQ1 将学习目标与性能目标解耦，是否能提升稀疏奖励强化学习任务中的样本效率？
• RQ2 在何种条件下，多个非合作智能体能够稳定且独立学习，同时共同完成一项任务？
• RQ3 与单智能体DQN和分层强化学习相比，SoC框架在收敛速度与最终性能方面表现如何？
• RQ4 预训练智能体在多大程度上可被重用于加速新任务的学习？
• RQ5 该框架是否能在复杂、类似NP完全问题的环境中超越当前最先进的单智能体方法？

主要发现

• 在Pac-Boy环境中，SoC框架的收敛速度优于单智能体DQN，且预训练显著提升了早期性能表现。
• DQN-scaled与DQN-clipped智能体达到了相似的最终性能水平，但DQN-scaled表现出更谨慎的行为，因其对负奖励更敏感。
• 基于食物收集与幽灵回避的内在奖励设计，有效实现了将任务分解为可管理的子目标。
• 对个体智能体（幽灵智能体与食物智能体）进行预训练后，将其迁移到完整游戏时显著加速了学习过程，证明了有效的知识迁移。
• SoC模型在一项具有挑战性的、类似NP完全问题的任务中，优于单智能体最先进的方法，验证了其在复杂领域中的有效性。
• 通过调节奖励函数，可使智能体以不同程度“倾听”其他智能体，实现无需完全合作的灵活协调。