[论文解读] Chi-square Tests Driven Method for Learning the Structure of Factored MDPs

Thomas Degris, Olivier Sigaud+1 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 13被引用 11

一句话总结

该论文提出SPITI方法，通过卡方检验在概率分布中检测统计独立性，增量式地学习因子化马尔可夫决策过程（FMDP）的结构。通过调节卡方检验的阈值，SPITI构建紧凑的模型，使价值函数的相对误差较低，从而在大规模随机强化学习问题中，通过FMDP框架内的有效泛化，优于表格化方法。

ABSTRACT

SDYNA is a general framework designed to address large stochastic reinforcement learning problems. Unlike previous model based methods in FMDPs, it incrementally learns the structure and the parameters of a RL problem using supervised learning techniques. Then, it integrates decision-theoric planning algorithms based on FMDPs to compute its policy. SPITI is an instanciation of SDYNA that exploits ITI, an incremental decision tree algorithm, to learn the reward function and the Dynamic Bayesian Networks with local structures representing the transition function of the problem. These representations are used by an incremental version of the Structured Value Iteration algorithm. In order to learn the structure, SPITI uses Chi-Square tests to detect the independence between two probability distributions. Thus, we study the relation between the threshold used in the Chi-Square test, the size of the model built and the relative error of the value function of the induced policy with respect to the optimal value. We show that, on stochastic problems, one can tune the threshold so as to generate both a compact model and an efficient policy. Then, we show that SPITI, while keeping its model compact, uses the generalization property of its learning method to perform better than a stochastic classical tabular algorithm in large RL problem with an unknown structure. We also introduce a new measure based on Chi-Square to qualify the accuracy of the model learned by SPITI. We qualitatively show that the generalization property in SPITI within the FMDP framework may prevent an exponential growth of the time required to learn the structure of large stochastic RL problems.

研究动机与目标

• 为解决在随机强化学习环境中大规模因子化MDP（FMDP）结构学习的挑战。
• 开发一种增量式学习结构与参数的方法，结合监督学习技术。
• 确保所得到的模型保持紧凑，同时维持高策略性能。
• 利用增量学习的泛化能力，避免学习时间的指数级增长。
• 引入基于卡方检验的度量方法，用于评估FMDP结构学习中的模型准确性。

提出的方法

• SPITI使用卡方检验检测转移函数和奖励函数中随机变量之间的统计独立性。
• 该方法增量式构建具有局部结构的动态贝叶斯网络，以表示FMDP的转移动态。
• 应用增量版的结构化值迭代算法，基于学习到的模型计算策略。
• 卡方检验阈值控制模型复杂度：较低阈值产生更密集的模型，较高阈值产生更稀疏的模型。
• 引入一种新的基于卡方检验的度量方法，用于评估学习到的模型结构的准确性。
• 该方法整合ITI——一种增量决策树算法——以学习奖励函数和条件概率分布。

实验结果

研究问题

• RQ1 如何在大规模随机强化学习问题中高效学习因子化MDP的结构？
• RQ2 卡方检验阈值、模型大小与策略质量（以价值函数误差衡量）之间存在何种关系？
• RQ3 能否在保持高策略性能的同时，学习到一个紧凑的FMDP模型，通过泛化实现？
• RQ4 基于卡方检验的结构学习方法与经典表格化Q-learning在大规模问题中表现如何比较？
• RQ5 该学习方法的泛化特性能否防止大规模FMDP中学习时间的指数级增长？

主要发现

• 调节卡方检验阈值可在模型紧凑性与策略准确性之间实现权衡，实现价值函数的低相对误差。
• SPITI在大规模随机问题中，相较于经典表格化强化学习算法表现更优，尤其在结构未知的情况下。
• 该方法在保持紧凑模型的同时，利用泛化能力提升学习效率。
• 基于卡方检验的模型准确性度量提供了一个与策略性能相关的定性指标，反映模型质量。
• 增量式结构学习方法可防止学习时间的指数级增长，使方法可扩展至大规模FMDP。
• 实证结果表明，即使真实结构未知，SPITI也能通过FMDP框架内的有效泛化实现高效学习。