[论文解读] Exploring compact reinforcement-learning representations with linear regression

Thomas J. Walsh, István Szita+2 more|arXiv (Cornell University)|May 9, 2012

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出了一种新型在线线性回归算法，其样本复杂度界得到改进，且符合KWIK（Knows What It Knows）框架。该算法可实现强化学习中紧凑表示的高效学习，涵盖因子化MDP中的奖励函数、随机STRIPS和面向对象MDP中的结果概率——这些领域此前在强化学习设置下被认为无法高效学习。

ABSTRACT

This paper presents a new algorithm for online linear regression whose efficiency guarantees satisfy the requirements of the KWIK (Knows What It Knows) framework. The algorithm improves on the complexity bounds of the current state-of-the-art procedure in this setting. We explore several applications of this algorithm for learning compact reinforcement-learning representations. We show that KWIK linear regression can be used to learn the reward function of a factored MDP and the probabilities of action outcomes in Stochastic STRIPS and Object Oriented MDPs, none of which have been proven to be efficiently learnable in the RL setting before. We also combine KWIK linear regression with other KWIK learners to learn larger portions of these models, including experiments on learning factored MDP transition and reward functions together.

研究动机与目标

• 解决在样本效率下学习强化学习中紧凑且可泛化表示的挑战。
• 克服结构化MDP中关键组件（如因子化MDP和面向对象MDP）缺乏高效学习保证的问题。
• 开发一种满足KWIK框架在线学习效率要求的线性回归算法。
• 实现结构化强化学习设置中奖励函数和转移概率的样本高效学习。
• 将KWIK线性回归与其它KWIK学习器结合，以扩展至复杂MDP中更大模型组件的学习。

提出的方法

• 提出一种新型在线线性回归算法，其样本复杂度界优于以往工作。
• 将该算法整合进KWIK学习框架，确保其仅在高置信度时进行预测，并能识别不确定性。
• 使用KWIK线性回归算法通过将奖励建模为特征的线性函数，来学习因子化MDP中的奖励函数。
• 将相同算法应用于学习随机STRIPS和面向对象MDP中的结果概率，其中动作具有概率性效果。
• 将KWIK线性回归学习器与其他KWIK学习器（如价值函数或转移模型）结合，以学习结构化MDP中的更大模型部分。
• 确保在KWIK框架下具有样本效率和学习正确性的理论保证。

实验结果

研究问题

• RQ1 能否设计一种相比现有方法具有改进样本复杂度界的KWIK兼容线性回归算法？
• RQ2 是否能够使用KWIK线性回归高效学习因子化MDP中的奖励函数？
• RQ3 能否将KWIK线性回归应用于学习随机STRIPS和面向对象MDP中的动作结果概率？
• RQ4 将KWIK线性回归与其他KWIK学习器结合，是否能实现结构化MDP中联合转移与奖励函数的高效学习？
• RQ5 是否存在此前无法学习的结构化强化学习组件，而通过该方法可实现高效学习？

主要发现

• 所提出的KWIK线性回归算法在KWIK框架下的样本复杂度界优于当前最先进方法。
• 该算法实现了因子化MDP中奖励函数的高效、样本高效学习，而该设置此前在强化学习中被认为无法高效学习。
• 该方法成功学习了随机STRIPS和面向对象MDP中的结果概率，这些领域此前在强化学习中缺乏高效的理论学习保证。
• 将KWIK线性回归与其他KWIK学习器结合，可实现因子化MDP中联合转移与奖励函数的学习，展示了向更大模型组件扩展的可扩展性。
• 理论框架确保仅在有把握时才进行预测，且显式处理不确定性，从而提高了学习的可靠性。
• 该方法为若干结构化MDP形式化体系中的奖励与转移模型提供了首个可证明高效的学习除法，显著扩展了可学习强化学习表示的范围。