[论文解读] Discount Factor as a Regularizer in Reinforcement Learning

Ron Amit, Ron Meir+1 more|arXiv (Cornell University)|Jul 4, 2020

Evolutionary Algorithms and Applications被引用 16

一句话总结

本文建立了在时序差分（TD）学习中使用缩减折扣因子与激活正则化之间理论上的等价性，证明了折扣正则化在数据有限的情况下能提升泛化能力。实证结果表明，在数据稀疏、非均匀或混合率较低的深度强化学习设置中，折扣正则化优于标准L2正则化，其性能强烈依赖于数据分布与动态特性。

ABSTRACT

Specifying a Reinforcement Learning (RL) task involves choosing a suitable planning horizon, which is typically modeled by a discount factor. It is known that applying RL algorithms with a lower discount factor can act as a regularizer, improving performance in the limited data regime. Yet the exact nature of this regularizer has not been investigated. In this work, we fill in this gap. For several Temporal-Difference (TD) learning methods, we show an explicit equivalence between using a reduced discount factor and adding an explicit regularization term to the algorithm's loss. Motivated by the equivalence, we empirically study this technique compared to standard $L_2$ regularization by extensive experiments in discrete and continuous domains, using tabular and functional representations. Our experiments suggest the regularization effectiveness is strongly related to properties of the available data, such as size, distribution, and mixing rate.

研究动机与目标

• 研究在强化学习中使用缩减折扣因子的正则化效应。
• 在时序差分（TD）学习中，正式建立折扣正则化与激活正则化之间的等价性。
• 在表格型与深度强化学习基准上，实证评估折扣正则化相对于L2正则化的有效性。
• 识别影响折扣正则化成功与否的数据相关因素，如样本量、状态访问均匀性与混合率。
• 探索在函数逼近设置中，折扣正则化何时优于或可与标准L2正则化互补。

提出的方法

• 推导出在函数逼近下，使用缩减折扣因子的TD学习与在损失函数中添加激活正则化项之间的显式数学等价性。
• 将该等价性应用于多种TD学习变体，包括TD(0)、TD(λ)与SARSA。
• 使用表格型MDP与连续控制基准（如Mujoco环境）评估在数据有限条件下的性能表现。
• 在不同数据条件下比较折扣正则化与标准L2正则化，包括样本数量、状态访问均匀性与混合率的变化。
• 使用TD3等深度强化学习算法，在受控数据收集协议下测试连续控制任务中的泛化能力。
• 通过系统性消融研究，分析数据分布与混合率对正则化有效性的影响。

实验结果

研究问题

• RQ1 在TD学习中，使用缩减折扣因子与添加显式正则化项之间是否存在形式上的等价性？
• RQ2 折扣正则化的有效性在多大程度上依赖于数据特征，如样本量、状态访问均匀性与混合率？
• RQ3 在何种设置下，折扣正则化在值函数估计中优于标准L2正则化？
• RQ4 在深度强化学习中，折扣正则化是否可被视为传统L2正则化的可行替代或补充？
• RQ5 在函数逼近设置中，折扣正则化在何种条件下能增强泛化能力？

主要发现

• 建立了使用缩减折扣因子与在TD学习损失函数中添加激活正则化项之间的理论等价性。
• 在表格型设置中，当数据有限或状态访问非均匀时，折扣正则化性能可与L2正则化相媲美。
• 在深度强化学习中，当数据稀疏且状态访问分布非均匀或混合率较低时，折扣正则化显著提升了泛化能力。
• 折扣正则化的有效性与数据收集过程的混合率密切相关，混合率越低，性能越优。
• 在Hopper-v2等连续控制基准中，数据有限时折扣正则化优于L2正则化，最优性能出现在中等折扣值处。
• 研究表明，折扣正则化与L2正则化在不同函数逼近设置下的相对性能存在差异，表明其优越性具有上下文依赖性。