[论文解读] Learning Sparse Representations in Reinforcement Learning with Sparse Coding

Lei Le, Raksha Kumaraswamy+1 more|arXiv (Cornell University)|Jul 26, 2017

Reinforcement Learning in Robotics参考文献 23被引用 5

一句话总结

该论文提出SCoPE，一种用于强化学习中学习紧凑、判别性表征的监督稀疏编码方法，通过使用均方回报误差目标函数，联合优化字典、稀疏码和价值函数权重。尽管存在非凸性，该方法保证所有局部极小值均为全局极小值，实证结果表明其在Mountain Car、Puddle World和Acrobot环境中的策略评估任务中优于分块编码和无监督稀疏编码方法。

ABSTRACT

A variety of representation learning approaches have been investigated for reinforcement learning; much less attention, however, has been given to investigating the utility of sparse coding. Outside of reinforcement learning, sparse coding representations have been widely used, with non-convex objectives that result in discriminative representations. In this work, we develop a supervised sparse coding objective for policy evaluation. Despite the non-convexity of this objective, we prove that all local minima are global minima, making the approach amenable to simple optimization strategies. We empirically show that it is key to use a supervised objective, rather than the more straightforward unsupervised sparse coding approach. We compare the learned representations to a canonical fixed sparse representation, called tile-coding, demonstrating that the sparse coding representation outperforms a wide variety of tilecoding representations.

研究动机与目标

• 为解决强化学习表征学习中对稀疏编码研究不足的问题。
• 提出一种系统化的监督稀疏编码目标函数，以提升价值函数近似中的预测精度。
• 证明联合字典与权重学习的非凸优化问题仅存在全局极小值，从而实现简单优化。
• 通过实证验证，监督稀疏编码在策略评估任务中优于无监督稀疏编码和固定分块编码表征。
• 展示结合监督与无监督损失可有效约束表征空间，从而提升判别能力。

提出的方法

• 基于均方回报误差（MSRE）的监督目标，联合优化字典、稀疏码和价值函数权重。
• 采用交替近端梯度算法优化非凸目标函数，利用近期关于字典学习全局收敛性的理论结果。
• 引入混合损失函数，结合无监督稀疏编码（用于数据重建）与监督MSRE（用于预测精度），以提升表征质量。
• 采用投影贝尔曼误差作为监督信号，避免使用对本目标不合适的投影贝尔曼误差。
• 利用Γ-收敛性将理论保证扩展至非光滑正则化项，实现无需精细初始化的收敛性。
• 初始评估采用批量梯度下降，未来可扩展至增量式与随机优化。

实验结果

研究问题

• RQ1 能否设计一种监督稀疏编码目标函数，以联合学习判别性字典与价值函数权重，用于策略评估？
• RQ2 所提出的联合字典与权重学习的非凸优化框架是否能保证收敛至全局极小值？
• RQ3 监督稀疏编码在预测精度方面与无监督稀疏编码及固定分块编码表征相比表现如何？
• RQ4 结合监督与无监督损失对所学习表征的质量与稀疏性有何影响？
• RQ5 该方法能否在Mountain Car、Puddle World和Acrobot等多样化强化学习环境中，通过紧凑的、学习得到的表征实现良好泛化？

主要发现

• 所提出的SCoPE方法在Mountain Car和Acrobot环境中，即使使用紧凑表征，其最终预测误差仍低于分块编码。
• SCoPE在预测精度方面始终优于无监督稀疏编码，尽管稀疏模式相似，这归因于监督目标的引入。
• 监督与无监督损失的结合使稀疏码更加平滑、分布更均匀，优于纯无监督方法。
• 当仅优化监督损失（MSRE）时，所得表征判别性更弱，证实了混合损失的必要性。
• SCoPE在测试数据上的MSRE优于分块编码，但在Puddle World环境中略逊于部分更大的分块编码配置，表明可能存在对MSRE的过拟合。
• 理论分析表明，在最小条件下，该目标函数的所有局部极小值均为全局极小值，从而实现无需精细初始化的稳健优化。