[论文解读] Learning RoboCup-Keepaway with Kernels

Tobias Jung, Daniel Polani|arXiv (Cornell University)|Jan 31, 2012

Reinforcement Learning in Robotics参考文献 22被引用 3

一句话总结

该论文提出了一种基于核函数的强化学习方法，采用基于子集回归器的正则化网络近似，以解决高维、随机的3v2 RoboCup-Keepaway问题。通过结合高效的递归最小二乘策略迭代与监督式基函数选择，该方法在性能上优于分块编码（tilecoding），同时通过动态、数据驱动的基函数引入实现了实时学习。

ABSTRACT

We apply kernel-based methods to solve the difficult reinforcement learning problem of 3vs2 keepaway in RoboCup simulated soccer. Key challenges in keepaway are the high-dimensionality of the state space (rendering conventional discretization-based function approximation like tilecoding infeasible), the stochasticity due to noise and multiple learning agents needing to cooperate (meaning that the exact dynamics of the environment are unknown) and real-time learning (meaning that an efficient online implementation is required). We employ the general framework of approximate policy iteration with least-squares-based policy evaluation. As underlying function approximator we consider the family of regularization networks with subset of regressors approximation. The core of our proposed solution is an efficient recursive implementation with automatic supervised selection of relevant basis functions. Simulation results indicate that the behavior learned through our approach clearly outperforms the best results obtained earlier with tilecoding by Stone et al. (2005).

研究动机与目标

• 为解决RoboCup-Keepaway中高维状态空间与实时学习的挑战，传统分块编码因参数数量呈指数增长而失效。
• 开发一种无需模型、在线的强化学习方法，以适应多智能体环境中未知的随机动力学。
• 通过基于监督准则的动态选择相关基函数，实现高效的实时学习。
• 在3v2 Keepaway任务中，相比现有基于分块编码的方法，在学习效率与最终性能方面实现超越。

提出的方法

• 使用最小二乘策略迭代（LSPE(λ)）结合正则化网络作为函数逼近器，以在高维状态空间中估计价值函数。
• 应用子集回归器方法，通过动态选择的基函数子集来近似核函数。
• 采用一种贪心的在线基函数选择策略，基于其对减少学习代价的贡献进行优先排序，而不仅基于近似误差。
• 引入递归更新机制以实现高效的在线学习，每步计算复杂度仅依赖于所选基函数的数量。
• 引入一种监督式选择准则，评估每个候选基函数对原始学习代价减少的影响。
• 使用递归矩阵求逆与向量更新公式，以在在线训练与推理过程中保持计算效率。

实验结果

研究问题

• RQ1 基于核函数的函数逼近结合动态基函数选择，是否能在高维、随机的强化学习任务（如RoboCup-Keepaway）中优于传统的分块编码？
• RQ2 监督式基函数选择准则在减少基函数数量的同时，是否能维持或提升学习性能？
• RQ3 基于递归最小二乘的策略迭代框架是否足够高效，可实现在每步动作100ms周期环境中的实时在线学习？
• RQ4 使用完整的状态向量（13维）而不做状态变量独立性的简化假设，是否能带来优于先前工作（后者对状态变量进行解耦）的性能？
• RQ5 与基于网格的方法相比，所提出方法在状态空间未访问区域中是否显著减少了参数浪费？

主要发现

• 所提出的基于核函数的方法显著优于Stone等人（2005）的分块编码方法，在3v2 Keepaway任务中实现了更高的平均回合长度。
• 采用监督式基函数选择准则减少了所需基函数的数量，从而提升了计算效率并降低了每步计算复杂度。
• 递归实现使方法能够在100ms动作周期内实现实时学习，满足RoboCup服务器的时序约束。
• 该方法有效处理了高维状态空间（13维），且无需对状态变量独立性做简化假设。
• 子集回归器近似在大幅降低计算开销的同时，保持了与完整核方法相当的高精度。
• 学习性能对环境随机性及多智能体协作动态具有鲁棒性，展示了在复杂、未知环境中的泛化能力。