[论文解读] Average reward reinforcement learning with unknown mixing times.

Tom Zahavy, Alon Cohen+2 more|arXiv (Cornell University)|May 23, 2019

Reinforcement Learning in Robotics参考文献 17被引用 6

一句话总结

本文提出了一种新颖的平均奖励强化学习算法，适用于无需混合时间上限的设定——这是先前工作中一个关键限制。通过利用马尔可夫链理论，作者设计了基于采样的方法，并在样本复杂度和运行时间方面提供了理论保证，从而在混合时间未知或无界的环境中实现高效学习。

ABSTRACT

We derive and analyze learning algorithms for apprenticeship learning, policy evaluation, and policy gradient for average reward criteria. Existing algorithms explicitly require an upper bound on the mixing time. In contrast, we build on ideas from Markov chain theory and derive sampling algorithms that do not require such an upper bound. For these algorithms, we provide theoretical bounds on their sample-complexity and running time.

研究动机与目标

• 解决现有平均奖励强化学习算法中需要混合时间上限这一局限性。
• 在混合时间未知或可能无界的环境中实现鲁棒学习。
• 为模仿学习、策略评估和平均奖励准则下的策略梯度开发基于采样的算法。
• 在不依赖混合时间假设的前提下，提供样本复杂度和运行时间的理论边界。
• 在具有复杂动态的实际、现实场景中，推进平均奖励强化学习的理论基础。

提出的方法

• 利用马尔可夫链理论的理论洞见，设计对未知混合时间具有鲁棒性的算法。
• 构建基于采样的过程，以在不显式掌握混合时间的情况下估计值函数和梯度。
• 使用轨迹上的经验均值来近似长期平均奖励，确保在弱假设下收敛。
• 提出一种新颖的分析框架，其在不需混合时间上限的前提下，界定了样本复杂度和运行时间。
• 将该框架应用于三个核心强化学习任务：模仿学习、策略评估和策略梯度优化。
• 通过适应于平均奖励设定的集中不等式和鞅论证，确保理论保证。

实验结果

研究问题

• RQ1 我们能否设计出无需混合时间上限的平均奖励强化学习算法？
• RQ2 在缺乏混合时间边界的情况下，如何确保样本效率和运行时间保证？
• RQ3 所提出的方法能否在理论保证下应用于模仿学习与策略梯度？
• RQ4 分析混合行为未知的平均奖励设定下的学习，需要哪些理论工具？
• RQ5 在弱假设下，所提算法与现有方法相比，在样本复杂度和运行时间上表现如何？

主要发现

• 所提算法在不需混合时间上限的前提下，实现了样本复杂度和运行时间的理论边界。
• 该方法即使在混合时间未知或无界时，也能实现有效的策略评估与策略梯度更新。
• 理论分析证实，仅通过基于采样的估计，即可在平均奖励准则下收敛至最优策略。
• 该框架适用于模仿学习，扩展了其在模仿学习场景中的适用性。
• 算法通过依赖经验均值和马尔可夫链集中性质，保持了强大的性能保证。
• 结果表明，混合时间边界并非平均奖励强化学习高效学习的必要条件，挑战了文献中既有的假设。