[论文解读] A Theoretical Connection Between Statistical Physics and Reinforcement Learning

Jad Rahme, Ryan P. Adams|arXiv (Cornell University)|Jun 24, 2019

Reinforcement Learning in Robotics参考文献 27被引用 4

一句话总结

本文通过为马尔可夫决策过程引入一个分区函数 $Χ(s,a,\beta)$，建立了统计物理与强化学习之间的理论联系，从而实现了一种无需显式价值函数的新型动态规划方法。$\mathcal{Z}$-函数在确定性环境中满足线性贝尔曼方程，并生成类似玻尔兹曼的策略，偏好具有高轨迹多样性的状态，从而提出一种等价于带熵正则化的期望SARSA的新型无模型强化学习算法。

ABSTRACT

Sequential decision making in the presence of uncertainty and stochastic dynamics gives rise to distributions over state/action trajectories in reinforcement learning (RL) and optimal control problems. This observation has led to a variety of connections between RL and inference in probabilistic graphical models (PGMs). Here we explore a different dimension to this relationship, examining reinforcement learning using the tools and abstractions of statistical physics. The central object in the statistical physics abstraction is the idea of a partition function $\mathcal{Z}$, and here we construct a partition function from the ensemble of possible trajectories that an agent might take in a Markov decision process. Although value functions and $Q$-functions can be derived from this partition function and interpreted via average energies, the $\mathcal{Z}$-function provides an object with its own Bellman equation that can form the basis of alternative dynamic programming approaches. Moreover, when the MDP dynamics are deterministic, the Bellman equation for $\mathcal{Z}$ is linear, allowing direct solutions that are unavailable for the nonlinear equations associated with traditional value functions. The policies learned via these $\mathcal{Z}$-based Bellman updates are tightly linked to Boltzmann-like policy parameterizations. In addition to sampling actions proportionally to the exponential of the expected cumulative reward as Boltzmann policies would, these policies take entropy into account favoring states from which many outcomes are possible.

研究动机与目标

• 建立一个以分区函数为核心抽象的理论框架，连接强化学习与统计物理。
• 推导出 $\mathcal{Z}$-函数的贝尔曼方程，使其在确定性MDP中可实现动态规划。
• 通过变分方法将 $\mathcal{Z}$-函数形式化扩展至随机环境。
• 基于 $\mathcal{Z}$-函数更新开发一种无需显式价值函数表示的无模型强化学习算法。
• 证明由 $\mathcal{Z}$ 导出的策略为类似玻尔兹曼的策略，且天然偏好具有高熵与高轨迹多样性的状态。

提出的方法

• 在MDP中构建一个关于状态-动作轨迹的分区函数 $\mathcal{Z}(s,a,\beta)$，其由逆温度 $\beta$ 参数化，类比于统计物理中的分区函数。
• 推导 $\mathcal{Z}$ 的贝尔曼方程，该方程在确定性环境中变为线性，从而可直接求解。
• 将策略定义为 $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$，生成类似玻尔兹曼的策略，通过偏好具有多种可能结果的状态来自然地引入熵。
• 通过变分近似将形式化扩展至随机MDP，以保持与分区函数框架的一致性。
• 提出 $\mathcal{Z}$ 的几何更新规则：$\mathcal{Z}(s_t,a_t,\beta) \leftarrow \mathcal{Z}(s_t,a_t,\beta)^{1-\alpha} \times \left(e^{\beta r_t + \mu} \sum_{a_{t+1}} \mathcal{Z}(s_{t+1},a_{t+1},\beta)\right)^\alpha$，替代Q-learning中的线性插值。
• 证明由此诱导的 $Q$-函数更新等价于期望SARSA，从而实现方差降低，并与标准探索策略兼容。

实验结果

研究问题

• RQ1 能否有意义地将统计物理中的分区函数形式化应用于强化学习问题？
• RQ2 MDP中的 $\mathcal{Z}$-函数是否满足贝尔曼方程？在确定性设定下是否可闭式求解？
• RQ3 如何在保持物理与算法一致性的前提下，将 $\mathcal{Z}$-函数扩展至随机环境？
• RQ4 由 $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$ 导出的策略具有何种特性？与标准玻尔兹曼策略有何不同？
• RQ5 能否基于 $\mathcal{Z}$-函数更新构造一种无需显式价值函数表示的无模型强化学习算法？

主要发现

• 在确定性MDP中，$\mathcal{Z}$-函数满足一个线性贝尔曼方程，从而可实现标准价值函数方法无法实现的直接求解方法。
• 价值函数可从 $\mathcal{Z}$-函数导出：$Q(s,a,\beta) = \frac{\partial}{\partial\beta} \log \mathcal{Z}(s,a,\beta)$，可解释为平均能量。
• 由 $\mathcal{Z}$ 导出的策略为类似玻尔兹曼的策略，偏好那些可产生大量可能轨迹的状态，从而自然地将熵纳入探索机制。
• 所提出的学习算法采用 $\mathcal{Z}$ 的几何更新规则，其诱导出的 $Q$-函数更新等价于期望SARSA，相比标准SARSA具有更低方差。
• 该方法实现了无需显式价值函数表示的无模型强化学习，提供了一种基于统计物理抽象的新范式。
• 该方法在策略中自然地引入了熵偏好，因为 $\mathcal{Z}$-基策略偏好具有高轨迹多样性的状态，这一特性在标准强化学习公式中并未显式体现。