[论文解读] Monte Carlo Matrix Inversion Policy Evaluation

Fletcher Lu, Dale Schuurmans|arXiv (Cornell University)|Oct 19, 2012

Reinforcement Learning in Robotics参考文献 14被引用 4

一句话总结

本文提出了一种蒙特卡洛矩阵求逆（MCMI）方法，用于强化学习中的策略评估，通过将矩阵求逆视为随机游走的期望值来估计值函数，显著提升了运行效率，相较于最大似然方法运行更快，相较于时序差分方法更准确。通过引入重要性采样和可扩展的采样技术，MCMI在大规模状态空间中实现了更快的收敛速度和更优的方差控制。

ABSTRACT

In 1950, Forsythe and Leibler (1950) introduced a statistical technique for finding the inverse of a matrix by characterizing the elements of the matrix inverse as expected values of a sequence of random walks. Barto and Duff (1994) subsequently showed relations between this technique and standard dynamic programming and temporal differencing methods. The advantage of the Monte Carlo matrix inversion (MCMI) approach is that it scales better with respect to state-space size than alternative techniques. In this paper, we introduce an algorithm for performing reinforcement learning policy evaluation using MCMI. We demonstrate that MCMI improves on runtime over a maximum likelihood model-based policy evaluation approach and on both runtime and accuracy over the temporal differencing (TD) policy evaluation approach. We further improve on MCMI policy evaluation by adding an importance sampling technique to our algorithm to reduce the variance of our estimator. Lastly, we illustrate techniques for scaling up MCMI to large state spaces in order to perform policy improvement.

研究动机与目标

• 解决传统基于模型的策略评估在大规模状态空间中的计算低效问题。
• 通过降低值函数估计中的偏差和方差，改进时序差分（TD）方法。
• 通过蒙特卡洛采样和矩阵求逆技术，将策略评估扩展至大规模或连续状态空间。
• 通过重要性采样减少MCMI估计器的方差，提升收敛性和准确性。
• 通过高效的采样策略将MCMI扩展至高维问题，实现实际的策略改进。

提出的方法

• 将矩阵求逆形式化为随机游走的期望值，利用Forsythe和Leibler（1950）的统计方法。
• 通过模拟轨迹，利用矩阵求逆估计值函数，将MCMI框架应用于策略评估。
• 引入重要性采样以重新加权轨迹，降低MCMI估计器的方差。
• 采用优先选择信息丰富状态转移的采样策略，提升收敛速度。
• 通过稀疏采样和迭代优化近似矩阵求逆，将方法扩展至大规模状态空间。
• 通过使用估计的值函数进行策略改进步骤，将MCMI与策略迭代相结合。

实验结果

研究问题

• RQ1 蒙特卡洛矩阵求逆能否在运行速度和准确性上均优于最大似然模型基方法？
• RQ2 MCMI在运行时间和估计准确性方面是否优于时序差分（TD）学习？
• RQ3 重要性采样在降低MCMI估计器方差方面效果如何，特别是在策略评估中？
• RQ4 MCMI在不产生过高计算成本的前提下，能在多大程度上扩展至大规模或连续状态空间？
• RQ5 MCMI能否在实践中支持有效的策略改进，尤其是在高维环境中的表现？

主要发现

• MCMI在高维状态空间中显著快于最大似然模型基策略评估方法，运行时间大幅缩短。
• MCMI相比时序差分（TD）方法显著降低了估计误差，展现出更优的值函数近似准确性。
• 引入重要性采样有效降低了MCMI估计器的方差，使值估计更加稳定可靠。
• 通过高效的采样和矩阵近似技术，该方法在大规模状态空间中表现出良好的可扩展性。
• MCMI通过提供快速且准确的值函数估计，实现了实际的策略改进，优于标准TD和模型基基线方法。
• 实验结果表明，MCMI在基准问题上的收敛速度更快，且误差更低，优于TD(0)和模型基方法。