[论文解读] Approximate Temporal Difference Learning is a Gradient Descent for Reversible Policies

Yann Ollivier|arXiv (Cornell University)|May 2, 2018

Reinforcement Learning in Robotics参考文献 7被引用 16

一句话总结

该论文证明了当策略可逆时，近似时序差分（TD）学习等价于对价值函数误差的Dirichlet范数进行梯度下降。关键贡献在于，通过将TD解释为最小化真实值函数与近似值函数之间差异的Dirichlet范数，首次在非线性函数逼近器（如神经网络）下，于折扣因子γ=1时提供了收敛性和稳定性的理论保证。

ABSTRACT

In reinforcement learning, temporal difference (TD) is the most direct algorithm to learn the value function of a policy. For large or infinite state spaces, exact representations of the value function are usually not available, and it must be approximated by a function in some parametric family. However, with \emph{nonlinear} parametric approximations (such as neural networks), TD is not guaranteed to converge to a good approximation of the true value function within the family, and is known to diverge even in relatively simple cases. TD lacks an interpretation as a stochastic gradient descent of an error between the true and approximate value functions, which would provide such guarantees. We prove that approximate TD is a gradient descent provided the current policy is \emph{reversible}. This holds even with nonlinear approximations. A policy with transition probabilities $P(s,s')$ between states is reversible if there exists a function $μ$ over states such that $\frac{P(s,s')}{P(s',s)}=\frac{μ(s')}{μ(s)}$. In particular, every move can be undone with some probability. This condition is restrictive; it is satisfied, for instance, for a navigation problem in any unoriented graph. In this case, approximate TD is exactly a gradient descent of the \emph{Dirichlet norm}, the norm of the difference of \emph{gradients} between the true and approximate value functions. The Dirichlet norm also controls the bias of approximate policy gradient. These results hold even with no decay factor ($γ=1$) and do not rely on contractivity of the Bellman operator, thus proving stability of TD even with $γ=1$ for reversible policies.

研究动机与目标

• 解决近似TD学习在使用神经网络等非线性函数逼近器时缺乏理论收敛保证的问题。
• 为近似TD提供基于梯度的解释，因为其本身并不被已知为最小化任何目标函数。
• 确立TD收敛至有意义解的条件，即使贝尔曼算子不是压缩映射。
• 表明Dirichlet范数同时控制近似策略梯度方法中的偏差。
• 识别出一类策略——可逆策略——在此类策略下，TD成为稳定且可解释的梯度下降算法。

提出的方法

• 将策略的可逆性定义为存在平稳分布μ，使得P(s,s′)/P(s′,s) = μ(s′)/μ(s)，确保所有转移以正概率可逆。
• 引入Dirichlet范数作为真实价值函数V与近似函数Ũ之间误差的度量，通过转移概率和平稳分布定义：||Ũ−V||²_Dir = E_{s,s′} [ (Ũ(s′)−Ũ(s)−V(s′)+V(s))² ] μ(s)P(s,s′)。
• 证明TD更新规则在数学上等价于对误差的Dirichlet范数执行梯度下降，步长为η/2。
• 表明Dirichlet范数同样界定了近似策略梯度方法中的偏差，将价值函数逼近质量与策略优化性能直接关联。
• 利用Metropolis–Hastings算法构建用于导航问题的可逆策略，使理论可实际应用。
• 证明TD的收敛速率在γ→1时不会恶化，与经典分析中要求递减学习率的结论不同。

实验结果

研究问题

• RQ1 在何种条件下，近似TD学习等价于对一个明确定义的目标函数执行梯度下降？
• RQ2 能否在理论上保证TD与非线性函数逼近器的收敛性？若能，需满足何种假设？
• RQ3 Dirichlet范数如何与强化学习中近似误差和策略梯度偏差相关联？
• RQ4 为何TD在一般情况下使用非线性逼近器时无法收敛？通过限制策略类是否可解决此问题？
• RQ5 能否在理论上证明TD在γ=1时的稳定性？若能，需对策略施加何种结构假设？

主要发现

• 当策略可逆时，近似TD学习恰好是价值函数误差的Dirichlet范数上的梯度下降。
• Dirichlet范数控制近似策略梯度方法中的偏差，为价值函数逼近与策略优化稳定性之间提供了直接联系。
• 只要策略可逆，即使在γ=1且使用非线性函数逼近器时，TD的收敛性也能得到保证。
• TD的收敛速率不依赖于γ，在γ→1时仍保持稳定，与经典分析中要求递减步长的结论不同。
• 对于无向图上的导航问题，可系统性地利用Metropolis–Hastings算法构造可逆策略，从而实现理论的实际部署。
• Dirichlet范数强调相邻状态间价值差异的正确性，使其适用于相对价值比较至关重要的问题。