[论文解读] Approximate Modified Policy Iteration

Bruno Scherrer, Victor Gabillon+2 more|arXiv (Cornell University)|May 14, 2012

Reinforcement Learning in Robotics参考文献 15被引用 26

一句话总结

本文提出了三种近似修正策略迭代（AMPI）算法——拟合值迭代、拟合Q迭代和基于分类的策略迭代——扩展了标准的近似动态规划方法。它提供了一体化的误差传播分析和有限样本界，表明MPI的参数 $ m $ 控制着值函数近似误差与分类器估计误差之间的权衡，从而在大规模MDP中提升了性能控制能力。

ABSTRACT

Modified policy iteration (MPI) is a dynamic programming (DP) algorithm that contains the two celebrated policy and value iteration methods. Despite its generality, MPI has not been thoroughly studied, especially its approximation form which is used when the state and/or action spaces are large or infinite. In this paper, we propose three implementations of approximate MPI (AMPI) that are extensions of well-known approximate DP algorithms: fitted-value iteration, fitted-Q iteration, and classification-based policy iteration. We provide error propagation analyses that unify those for approximate policy and value iteration. On the last classification-based implementation, we develop a finite-sample analysis that shows that MPI's main parameter allows to control the balance between the estimation error of the classifier and the overall value function approximation.

研究动机与目标

• 为解决在大规模或连续状态/动作空间中近似修正策略迭代（AMPI）缺乏理论分析的问题。
• 在单一AMPI框架下，统一近似值迭代（AVI）和近似策略迭代（API）的误差传播分析。
• 为基于分类的AMPI（CBMPI）实现提供有限样本泛化界，将MPI参数 $ m $ 与误差权衡联系起来。
• 证明AMPI为AVI和API提供了一种灵活的替代方案，且在近似误差和估计误差的控制方面表现更优。

提出的方法

• 提出三种AMPI变体：AMPI-V（拟合值迭代）、AMPI-Q（拟合Q迭代）和CBMPI（基于分类的策略迭代），均在值函数空间 $ \fancyscript{F} $ 中使用函数逼近。
• 通过 $ m $ 步评估 $ (T_{\tilde{\nu}_{k+1}})^m \tilde{\nu}_k $，利用贪婪策略选择步骤 $ \text{argmax}_a \text{估计的 } Q(s,a) $ 生成 $ \tilde{\nu}_{k+1} $。
• 采用具有有界基函数的线性函数逼近 $ \fancyscript{F} = \{ f_{\alpha}(\cdot) = \phi(\cdot)^T \alpha \} $，并通过截断估计值至 $ V_{\max} $ 以保证稳定性。
• 使用最小二乘回归估计 $ (T_{\pi_k})^m v_{k-1} $，并利用浓度不等式推导误差界。
• 通过迭代的联合界控制 $ L_1 $-范数性能损失，以 $ \|l_k\|_{1,\mu} $ 作为关键性能指标。
• 利用 $ \epsilon_1, \epsilon_2 $ 项推导有限样本界，显示其对 $ n, N, M, m $ 的依赖性。

实验结果

研究问题

• RQ1 在使用函数逼近的大规模或连续MDP中，修正策略迭代能否被有效近似？
• RQ2 AMPI参数 $ m $ 如何影响值函数近似误差与策略分类器估计误差之间的权衡？
• RQ3 能否为AMPI推导出统一的误差传播分析，以推广AVI和API的误差界？
• RQ4 能否为基于分类的AMPI（CBMPI）实现建立有限样本泛化界？
• RQ5 AMPI在误差控制和收敛行为方面是否相对于AVI和API具有性能优势？

主要发现

• AMPI框架同时推广了值迭代和策略迭代，在大规模MDP中为AVI和API之间提供了灵活的中间方案。
• 建立了一体化的误差传播分析，表明即使在无收缩性或单调性假设下，性能损失的 $ L_p $-范数也受每轮迭代误差的控制。
• 对于CBMPI，参数 $ m $ 允许显式控制近似误差 $ d_m $ 与估计误差 $ \epsilon_1, \epsilon_2 $ 之间的平衡，该权衡在界 $ \|l_k\|_{1,\mu} \leq O\left(\gamma^m\left(d_m + \sqrt{m/B}\right) + d' + \sqrt{M|A|m/B}\right) $ 中得以体现。
• 在固定预算 $ B = nm = NM|A|m $ 下，该界表明增加 $ m $ 可减少值近似误差，但会增加分类器估计误差，表明存在一个最优的 $ m $。
• 有限样本分析为实践中调节 $ m $ 以平衡估计误差与近似误差提供了理论依据。
• 实验结果（附录G）表明CBMPI在标准基准测试中表现具有竞争力，支持其实际可行性。