[论文解读] Distributional Advantage Actor-Critic

Shangda Li, Selina Bing+1 more|arXiv (Cornell University)|Jun 10, 2018

Reinforcement Learning in Robotics参考文献 4被引用 7

一句话总结

本文提出了一种分布优势演员-critic（DAAC）方法，用于在视觉复杂、部分可观测且程序化生成的环境中，使用原始像素输入进行第一人称导航。通过结合分布式强化学习、优势函数估计和事后经验回放（HER），该方法在稀疏奖励设置下提升了样本效率和性能，在DeepMind Lab的'Verify_Arena'和'Maze Navigation'任务中优于标准的DQN和DDPG基线模型。

ABSTRACT

In traditional reinforcement learning, an agent maximizes the reward collected during its interaction with the environment by approximating the optimal policy through the estimation of value functions. Typically, given a state s and action a, the corresponding value is the expected discounted sum of rewards. The optimal action is then chosen to be the action a with the largest value estimated by value function. However, recent developments have shown both theoretical and experimental evidence of superior performance when value function is replaced with value distribution in context of deep Q learning [1]. In this paper, we develop a new algorithm that combines advantage actor-critic with value distribution estimated by quantile regression. We evaluated this new algorithm, termed Distributional Advantage Actor-Critic (DA2C or QR-A2C) on a variety of tasks, and observed it to achieve at least as good as baseline algorithms, and outperforming baseline in some tasks with smaller variance and increased stability.

研究动机与目标

• 解决在使用原始RGB-D观测的视觉复杂、部分可观测且程序化生成的3D导航环境中训练智能体的挑战。
• 通过整合先进技术，克服传统强化学习算法（如DQN和DDPG）在稀疏奖励、高维视觉设置下的局限性。
• 通过在深度强化学习框架中引入分布式RL和基于优势的价值函数估计，提升样本效率和学习稳定性。
• 在DeepMind Lab的'Verify_Arena'和'Maze Navigation'任务上评估所提方法，以评估其在复杂动态环境中的性能。
• 证明结合HER、演员-critic架构和分布式价值学习在无需人工特征工程的情况下对视觉导航的有效性。

提出的方法

• 采用分布式强化学习框架，建模完整的回报分布而非仅期望回报，从而提升对稀疏奖励的鲁棒性。
• 整合优势函数估计以优化价值函数学习，增强策略更新的稳定性和样本效率。
• 应用事后经验回放（HER）通过重标记目标来重构失败轨迹，在稀疏奖励环境中提供有意义的学习信号。
• 使用深度卷积神经网络直接处理原始RGB-D观测，消除对手动特征提取的需求。
• 采用包含独立策略网络（演员）和价值函数网络（评论家）的演员-critic架构，结合经验回放实现离策略训练。
• 通过通用价值函数近似器（UVFA）扩展Q函数，使其依赖于状态-动作对和目标，从而在动态环境中实现基于目标的强化学习。

实验结果

研究问题

• RQ1 分布优势演员-critic框架能否在使用原始像素输入的视觉复杂、部分可观测且程序化生成的3D环境中有效学习导航策略？
• RQ2 将事后经验回放（HER）与分布式及基于优势的价值学习相结合，如何提升稀疏奖励导航任务中的样本效率？
• RQ3 UVFA的集成在目标状态和起始状态动态变化的环境中，能在多大程度上实现有效的基于目标的学习？
• RQ4 在DeepMind Lab任务中，所提方法与标准DQN和DDPG基线相比，在学习速度和最终性能方面表现如何？
• RQ5 在复杂视觉导航场景中，从原始像素端到端学习是否优于线性模型或人工设计的特征？

主要发现

• 随机策略在所有环境中1000步内均获得零奖励，证实了任务的难度以及对结构化学习方法的必要性。
• 使用原始像素输入的线性模型表现欠佳，表明简单函数逼近器不足以应对高维视觉观测。
• 人工特征提取被认为不具备泛化能力，凸显了从原始像素进行端到端学习的必要性。
• 使用卷积神经网络进行特征提取显著优于线性模型，实现了对视觉输入的有效表征学习。
• HER、分布式价值学习与基于优势的评论家学习的结合，相比标准DQN和DDPG，显著提升了样本效率并加快了收敛速度。
• 所提出的DAAC框架在'Verify_Arena'和'Maze Navigation'任务中表现优于基线算法，尤其在处理稀疏奖励和动态环境方面表现出色。