[论文解读] Domain-Independent Optimistic Initialization for Reinforcement Learning

Marlos C. Machado, Sriram Srinivasan+1 more|arXiv (Cornell University)|Oct 16, 2014

Reinforcement Learning in Robotics参考文献 2被引用 18

一句话总结

本文提出了一种与领域无关的强化学习乐观初始化方法，消除了对奖励尺度或特征范数假设的依赖。通过将奖励相对于首个非零奖励进行归一化，并向下平移 (γ−1)，该方法实现了通过值函数权重零初始化实现的有效探索，在Atari环境中无需领域特定调优即可实现优越的样本效率。

ABSTRACT

In Reinforcement Learning (RL), it is common to use optimistic initialization of value functions to encourage exploration. However, such an approach generally depends on the domain, viz., the scale of the rewards must be known, and the feature representation must have a constant norm. We present a simple approach that performs optimistic initialization with less dependence on the domain.

研究动机与目标

• 解决传统强化学习乐观初始化方法的局限性，后者需要事先了解奖励尺度和特征向量范数。
• 开发一种无需领域特定假设或修改即可实现乐观探索的方法。
• 在简化实现并避免特征工程的同时，保持在多样化环境中的性能表现。
• 在稀疏奖励环境（如Atari游戏）中，仅依赖最少的先验信息，实现有效探索。

提出的方法

• 通过取首个观测到的非零奖励的绝对值对所有奖励进行归一化，生成单位尺度的奖励信号。
• 将归一化后的奖励向下平移 (γ−1)，以确保零初始化的值函数对应于 q(s,a) = r₁st 的乐观估计。
• 在函数逼近中使用此变换后的奖励信号，使智能体能够以权重 θ = 0 初始化，同时仍实现乐观的值估计。
• 该平移确保零初始化函数的期望回报等价于首个观测到的奖励，从而在无需了解特征范数的情况下实现探索。
• 在回合制任务中应用终止奖励 r_end = γ^(T−k+1) − 1，以防止过早终止回合。
• 使用Arcade Learning Environment，结合Sarsa(λ)和基本视觉特征，评估在具有不同奖励结构的游戏中的性能。

实验结果

研究问题

• RQ1 是否可以在不事先了解函数逼近中奖励尺度或特征向量范数的情况下实现乐观初始化？
• RQ2 与领域无关的乐观初始化在稀疏奖励环境（如Atari游戏）中的学习效率有何影响？
• RQ3 使用变换后的奖励进行零权重初始化是否相比标准Sarsa(λ)能实现更快的收敛？
• RQ4 该方法在奖励幅度和稀疏性各异的环境中表现如何？
• RQ5 在需要长程规划的游戏场景中，使用该乐观初始化方法在探索与利用之间存在何种权衡？

主要发现

• 在Freeway游戏中，乐观初始化显著加快了学习速度，无论学习率是 α=0.01 还是 α=0.50，其中 α=0.01 时表现最佳。
• 该方法在Freeway中加速了对正向奖励的发现，因为在缺乏内在动机的情况下，随机探索极难成功。
• 在Private Eye游戏中，由于过度乐观，乐观初始化导致收敛变慢，智能体延迟学习到某些状态为次优。
• 即使在稀疏且延迟的奖励环境中，该方法也无需领域特定调优或特征工程即可实现有效探索。
• 使用终止奖励 r_end = γ^(T−k+1) − 1 有效缓解了回合制任务中的过早终止问题。
• 该方法在多种Atari游戏中均保持了强劲性能，展现出对奖励尺度和特征稀疏性的鲁棒性。