[论文解读] Distributionally Robust Reinforcement Learning

Elena Smirnova, Elvis Dohmatob+1 more|arXiv (Cornell University)|Feb 23, 2019

Reinforcement Learning in Robotics参考文献 73被引用 18

一句话总结

本文提出了一种分布鲁棒强化学习框架，通过在估计误差下提供状态值的下界保证，增强了探索过程中的安全性。该框架引入了一种可计算的策略迭代方案，采用重加权的动作概率，并通过 DR-SAC 将其扩展至连续控制任务，平衡了保守的短期行为与乐观的长期探索，显著降低了训练方差，同时不损害平均性能。

ABSTRACT

Real-world applications require RL algorithms to act safely. During learning process, it is likely that the agent executes sub-optimal actions that may lead to unsafe/poor states of the system. Exploration is particularly brittle in high-dimensional state/action space due to increased number of low-performing actions. In this work, we consider risk-averse exploration in approximate RL setting. To ensure safety during learning, we propose the distributionally robust policy iteration scheme that provides lower bound guarantee on state-values. Our approach induces a dynamic level of risk to prevent poor decisions and yet preserves the convergence to the optimal policy. Our formulation results in a efficient algorithm that accounts for a simple re-weighting of policy actions in the standard policy iteration scheme. We extend our approach to continuous state/action space and present a practical algorithm, distributionally robust soft actor-critic, that implements a different exploration strategy: it acts conservatively at short-term and it explores optimistically in a long-run. We provide promising experimental results on continuous control tasks.

研究动机与目标

• 为解决近似强化学习中因策略评估估计误差导致的灾难性后果风险。
• 开发一种计算上可行的、风险厌恶的策略迭代方案，即使在有限样本估计误差下也能保持对最优策略的收敛性。
• 将该框架以最小计算开销扩展至连续状态和动作空间。
• 设计一种混合探索策略，短期保守、长期乐观，以确保安全性和收敛性。
• 在连续控制基准上实证验证该方法，证明其显著降低方差并提升训练稳定性。

提出的方法

• 提出一族分布鲁棒的贝尔曼算子，在近似强化学习中有限样本估计误差下，为策略状态值提供下界保证。
• 利用勒让德-弗朗茨变换将鲁棒策略评估步骤重构成对策略动作概率的重加权，从而实现高效计算。
• 将鲁棒策略迭代方案应用于最大熵策略，从而实现风险厌恶的短期探索与乐观的长期探索策略。
• 推导出一种连续空间扩展方法，通过常数时间调整奖励函数，实现在连续控制中的高效实现。
• 提出 DR-SAC，一种将分布鲁棒评估与软 actor-critic 的乐观探索机制相结合的实际算法。
• 采用状态离散化以跟踪每状态访问次数，从而在训练过程中估计局部估计误差。

实验结果

研究问题

• RQ1 在近似强化学习中，有限样本估计误差下，分布鲁棒策略迭代方案能否为状态值提供下界保证？
• RQ2 如何在不牺牲对最优策略收敛性的前提下，将风险厌恶探索整合进策略迭代？
• RQ3 所提出的鲁棒框架能否高效扩展至连续状态和动作空间？
• RQ4 与标准 SAC 相比，该方法在连续控制任务中是否实现了更好的训练稳定性和更低的方差？
• RQ5 能否通过分布鲁棒性有效实现一种混合探索策略——短期保守、长期乐观？

主要发现

• 与 SAC 相比，DR-SAC 在 Hopper 上将回报的标准差降低了 76%，在 Walker2D 上降低了 78%，表明性能方差显著降低。
• 在 Hopper 上，回合长度的标准差降低了 76%；在 Walker2D 上降低了 77%，表明行为更加稳定且可预测。
• 平均回报和回合长度与 SAC 无统计学差异，证实安全性提升并未以性能为代价。
• 训练曲线显示，DR-SAC 在回报和回合长度上的方差显著降低，且在多个随机种子下始终保持更紧的置信区间。
• 视频演示证实，DR-SAC 策略表现出更缓慢、更平滑的运动，表明其行为更安全、更稳定。
• 理论分析与实证结果共同验证，该方法在保持安全保证的同时实现了对最优策略的收敛。