[论文解读] An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning

Dilip Arumugam, Peter Henderson+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种信息论框架，以形式化强化学习中的信用分配问题，认为信息稀疏性（而非奖励稀疏性）才是高效学习真正面临的障碍。该文引入在固定行为策略下动作与回报之间的互信息度量，表明信息论量可量化信用分配，并支持可证明高效的学习除数机制。

ABSTRACT

How do we formalize the challenge of credit assignment in reinforcement learning? Common intuition would draw attention to reward sparsity as a key contributor to difficult credit assignment and traditional heuristics would look to temporal recency for the solution, calling upon the classic eligibility trace. We posit that it is not the sparsity of the reward itself that causes difficulty in credit assignment, but rather the \\emph{information sparsity}. We propose to use information theory to define this notion, which we then use to characterize when credit assignment is an obstacle to efficient learning. With this perspective, we outline several information-theoretic mechanisms for measuring credit under a fixed behavior policy, highlighting the potential of information theory as a key tool towards provably-efficient credit assignment.

研究动机与目标

• 将强化学习中的信用分配问题重新表述为不是由奖励稀疏性引起，而是由动作与回报之间的信息稀疏性引起。
• 使用信息论，特别是行为策略与回报之间的互信息，形式化信用分配的困难性。
• 开发基于信息论的信用分配机制，以量化在固定行为策略下状态-动作对的贡献。
• 通过分析轨迹中回报序列，将信用分配与因果信息论联系起来。
• 为将信息论原则整合到长时域、稀疏奖励任务的高效强化学习算法中奠定基础。

提出的方法

• 将信息稀疏性定义为信用分配中的核心挑战，即行为策略（动作）与观测回报之间的互信息较低。
• 提出互信息度量 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$，以量化在每个时间步 $h$ 的信用分配，其中 $Z_h$ 表示从时间 $h$ 开始的回报。
• 利用互信息的链式法则，将总信息分解为每个时间步的贡献，从而实现逐时间步的信用分配。
• 应用因果信息论，建模从过去动作到未来回报的信息流动，将回报视为因果中介。
• 推导出 $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$，表明信用可通过给定未来回报的奖励熵来量化。
• 证明在确定性奖励下，互信息表达式可被简化，从而实现信用信号的可计算性。

实验结果

研究问题

• RQ1 尽管直觉上认为奖励稀疏性是信用分配困难的根源，为何它并非真正驱动因素？
• RQ2 信息论如何用于形式化信用分配中‘信息稀疏性’的概念？
• RQ3 在固定行为策略下，可使用哪些信息论度量来量化单个状态-动作对的信用分配？
• RQ4 轨迹中回报序列与信用分配中的因果信息流有何关系？
• RQ5 信息论信用度量是否能在长时域、稀疏奖励的MDP中实现可证明高效的学习除数？

主要发现

• 仅奖励稀疏性并不能决定信用分配的困难程度，因为将奖励整体平移常数不会改变最优策略或学习难度。
• 信息稀疏性——即动作与回报之间互信息较低——被识别为信用分配困难的根本原因。
• 本文推导出 $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$，表明信用分配可通过给定未来回报的奖励熵来量化。
• 互信息 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$ 为时间 $h$ 的动作所分配的信用提供了精确的信息论度量。
• 该框架揭示，信用分配本质上是信息流动问题，而因果信息论自然地建模了回报传播的时间动态。
• 结果表明，信息论度量可作为设计强化学习中可证明高效信用分配机制的基础。