[论文解读] Learning sparse representations in reinforcement learning

Jacob Rafati, David C. Noelle|arXiv (Cornell University)|Sep 4, 2019

Neural dynamics and brain function参考文献 24被引用 5

一句话总结

本文提出在人工神经网络中使用k-Winners-Take-All（kWTA）机制，以在强化学习中学习稀疏、分布式内部表征，显著提升在经典控制任务（Puddle-world、Mountain-car和Acrobot）上的性能，这些任务中基于反向传播的标准时序差分（TD）学习方法会失效。该方法利用侧向抑制来平衡泛化能力与模式分离能力，减少灾难性干扰，使此前难以处理的环境也能成功学习。

ABSTRACT

Reinforcement learning (RL) algorithms allow artificial agents to improve their selection of actions to increase rewarding experiences in their environments. Temporal Difference (TD) Learning -- a model-free RL method -- is a leading account of the midbrain dopamine system and the basal ganglia in reinforcement learning. These algorithms typically learn a mapping from the agent's current sensed state to a selected action (known as a policy function) via learning a value function (expected future rewards). TD Learning methods have been very successful on a broad range of control tasks, but learning can become intractably slow as the state space of the environment grows. This has motivated methods that learn internal representations of the agent's state, effectively reducing the size of the state space and restructuring state representations in order to support generalization. However, TD Learning coupled with an artificial neural network, as a function approximator, has been shown to fail to learn some fairly simple control tasks, challenging this explanation of reward-based learning. We hypothesize that such failures do not arise in the brain because of the ubiquitous presence of lateral inhibition in the cortex, producing sparse distributed internal representations that support the learning of expected future reward. The sparse conjunctive representations can avoid catastrophic interference while still supporting generalization. We provide support for this conjecture through computational simulations, demonstrating the benefits of learned sparse representations for three problematic classic control tasks: Puddle-world, Mountain-car, and Acrobot.

研究动机与目标

• 解决时序差分（TD）学习在Puddle-world、Mountain-car和Acrobot等简单控制任务中使用神经网络函数逼近器时的失败问题。
• 探究受皮层侧向抑制启发的稀疏、组合性神经表征是否能防止灾难性干扰并提升学习稳定性。
• 检验假设：大脑并非通过算法改进避免TD学习失败，而是通过侧向抑制实现的稀疏编码来实现。
• 评估在模型无关强化学习中，神经网络中的k-Winners-Take-All（kWTA）机制是否能生成支持鲁棒价值函数逼近的稀疏表征。
• 证明稀疏表征可使在标准反向传播网络中失败的任务实现成功学习，即使使用简单架构亦可。

提出的方法

• 作者在前馈神经网络的隐藏层中引入k-Winners-Take-All（kWTA）机制，实现状态-动作值函数逼近器，以强制实现稀疏性。
• kWTA机制为每个输入选择恰好k个激活神经元，通过侧向抑制促进稀疏、分布式表征，模拟皮层微电路动力学。
• 使用SARSA算法结合经验回放和目标网络来稳定学习，价值函数通过神经网络输出进行近似。
• 在三个经典控制任务（Puddle-world、Mountain-car和Acrobot）上评估该方法，所有网络变体使用相同的超参数。
• 性能在三种网络类型间进行比较：线性（无隐藏层）、标准反向传播（常规）和基于kWTA的网络，训练与测试阶段分离。
• 测试期间冻结权重且不允许探索，通过平均TD误差和到达目标的步数衡量泛化能力。

实验结果

研究问题

• RQ1 通过k-Winners-Take-All（kWTA）机制强制实现的稀疏分布式表征，能否解决神经网络在简单控制任务中TD学习的失败问题？
• RQ2 通过kWTA建模的神经回路侧向抑制，能否在价值函数逼近中实现更好的泛化能力，同时最小化灾难性干扰？
• RQ3 稀疏表征是否能提升模型无关强化学习中的学习稳定性与收敛性，特别是在具有不连续价值函数的环境中？
• RQ4 kWTA机制能否解释生物系统（如中脑多巴胺系统）在人工网络失败的强化学习任务中仍能成功的原因？
• RQ5 标准反向传播网络与kWTA网络之间的性能差距，是源于改进的模式分离能力，还是更强的泛化能力？

主要发现

• 在Acrobot控制任务中，kWTA网络成功学习到最优策略，而线性网络和常规反向传播网络均未能收敛至最优性能。
• 在Puddle-world任务中，kWTA网络的平均TD误差显著更低，到达目标的步数更少，而常规网络表现出高度不稳定和收敛性差。
• 在Mountain-car任务中，kWTA网络展现出更快的收敛速度和更低的TD误差，且在多次训练运行中表现一致；而常规网络常无法学习。
• 测试结果表明，仅kWTA网络在训练后维持了低TD误差和最少的到达目标步数，表明其具有鲁棒的泛化能力和稳定的价值函数逼近。
• 常规反向传播网络表现出性能的高方差、频繁发散和泛化能力差，尤其在具有非线性价值函数结构的任务中更为明显。
• 结果支持该假设：通过侧向抑制强制实现的稀疏表征，是高维、非线性环境中实现稳定且高效TD学习的关键。