[论文解读] TAAC: Temporally Abstract Actor-Critic for Continuous Control

Haonan Yu, Wei Xu+1 more|arXiv (Cornell University)|Apr 13, 2021

Reinforcement Learning in Robotics参考文献 51被引用 6

一句话总结

TAAC 提出了一种简单但高效的离策略演员-critic 算法，通过基于实际采样动作的可学习 '执行或重复' 决策，将闭环时间抽象整合到连续控制中。它在14项连续控制任务中实现了最先进性能，动作重复率高达89%，表明动作持续性可提升探索效率和样本效率，且不损害性能。

ABSTRACT

We present temporally abstract actor-critic (TAAC), a simple but effective off-policy RL algorithm that incorporates closed-loop temporal abstraction into the actor-critic framework. TAAC adds a second-stage binary policy to choose between the previous action and a new action output by an actor. Crucially, its "act-or-repeat" decision hinges on the actually sampled action instead of the expected behavior of the actor. This post-acting switching scheme let the overall policy make more informed decisions. TAAC has two important features: a) persistent exploration, and b) a new compare-through Q operator for multi-step TD backup, specially tailored to the action repetition scenario. We demonstrate TAAC's advantages over several strong baselines across 14 continuous control tasks. Our surprising finding reveals that while achieving top performance, TAAC is able to "mine" a significant number of repeated actions with the trained policy even on continuous tasks whose problem structures on the surface seem to repel action repetition. This suggests that aside from encouraging persistent exploration, action repetition can find its place in a good policy behavior. Code is available at https://github.com/hnyu/taac.

研究动机与目标

• 解决标准离策略深度强化学习算法在复杂或稀疏奖励连续控制任务中样本效率低下的问题。
• 探究闭环动作重复（即重复决策基于实际动作结果）是否能提升探索效率与性能。
• 设计一种简单、可训练且可泛化的算法，引入时间抽象，而无需定义特定任务的选项或目标空间。
• 探究动作重复是否可作为高性能策略的有益组成部分，即使在动作多样性看似更受青睐的任务中亦然。

提出的方法

• 引入两阶段策略：演员网络输出新动作，第二阶段的二元策略决定是执行还是重复上一动作。
• '执行或重复' 决策基于实际采样动作，而非预期行为，从而实现对环境反馈的闭环适应。
• 提出一种新型的 '比较-通过 Q' 操作符，用于多步时间差分备份，特别针对动作重复进行优化，提升信用分配。
• 在演员网络的梯度更新中引入缩放因子，该因子源自选择新动作的最优概率，以改进策略优化。
• 采用离策略学习与经验回放缓冲区，保持样本效率的同时实现稳定训练。
• 利用函数逼近与随机性，使策略能将非关键状态的决策任务交由重复机制处理。

实验结果

研究问题

• RQ1 一种基于实际结果学习重复动作的简单端到端可训练策略，是否能提升连续控制中的样本效率？
• RQ2 在复杂或稀疏奖励环境中，闭环动作重复是否优于开环或平坦的演员-critic 方法？
• RQ3 高性能策略在多大程度上自然利用动作重复，即使在动作多样性看似更受青睐的任务中？
• RQ4 所提出的 '比较-通过 Q' 操作符在存在动作重复的情况下如何改善信用分配？
• RQ5 动作重复是否可作为持久探索的机制，而不牺牲最终性能？

主要发现

• TAAC 在14项连续控制任务中均优于六种强基线方法，在最终回报和样本效率方面达到最先进水平。
• 评估中，TAAC 在 MountainCarContinuous 上达到最高89%的动作重复率，在 Ant 上为74%，在 FetchPickAndPlace 上为55%，表明持久性被广泛使用。
• 即使动作不在动作边界附近，高重复率依然出现，排除了因动作裁剪导致重复的可能性。
• 策略学会将非关键决策交由重复机制处理，从而为关键状态保留演员网络的表征能力。
• '比较-通过 Q' 操作符实现了稳定且有效的多步 TD 备份，无需依赖重要性采样校正。
• 可视化结果表明，重复动作通常对应于稳定阶段（如举起物体、跳跃），表明策略性地利用持久性以提升稳定性和效率。