[論文レビュー] A Theoretical Connection Between Statistical Physics and Reinforcement Learning

Jad Rahme, Ryan P. Adams|arXiv (Cornell University)|Jun 24, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 4

ひとこと要約

本稿では、マーカフ決定過程における分割関数 $Χ(s,a,\beta)$ を導入することで、統計力学と強化学習の間の理論的関係を確立し、明示的な価値関数を用いない新しい動的計画法を提示する。$\mathcal{Z}$-関数は決定的環境では線形のベルマン方程式に従い、高さの高い軌道多様性を持つ状態を好むボルツマン型方策を生み出す。これはエントロピー正則化付きの期待SARSAと同等の新しいモデルフリー強化学習アルゴリズムを提供する。

ABSTRACT

Sequential decision making in the presence of uncertainty and stochastic dynamics gives rise to distributions over state/action trajectories in reinforcement learning (RL) and optimal control problems. This observation has led to a variety of connections between RL and inference in probabilistic graphical models (PGMs). Here we explore a different dimension to this relationship, examining reinforcement learning using the tools and abstractions of statistical physics. The central object in the statistical physics abstraction is the idea of a partition function $\mathcal{Z}$, and here we construct a partition function from the ensemble of possible trajectories that an agent might take in a Markov decision process. Although value functions and $Q$-functions can be derived from this partition function and interpreted via average energies, the $\mathcal{Z}$-function provides an object with its own Bellman equation that can form the basis of alternative dynamic programming approaches. Moreover, when the MDP dynamics are deterministic, the Bellman equation for $\mathcal{Z}$ is linear, allowing direct solutions that are unavailable for the nonlinear equations associated with traditional value functions. The policies learned via these $\mathcal{Z}$-based Bellman updates are tightly linked to Boltzmann-like policy parameterizations. In addition to sampling actions proportionally to the exponential of the expected cumulative reward as Boltzmann policies would, these policies take entropy into account favoring states from which many outcomes are possible.

研究の動機と目的

• 強化学習と統計力学を結ぶ理論的枠組みを、分割関数を核となる概念として確立すること。
• 決定的MDPにおける$\mathcal{Z}$-関数のベルマン方程式を導出し、動的計画法を可能にする。
• 変分的アプローチを用いて$\mathcal{Z}$-関数形式を確率的環境へ拡張すること。
• 明示的な価値関数表現を避ける$\mathcal{Z}$-関数更新に基づくモデルフリー強化学習アルゴリズムを開発すること。
• ${\mathcal{Z}}$-関数から導かれる方策がボルツマン型であり、エントロピーと軌道多様性が高いために好まれる状態を自然に選好することを示すこと。

提案手法

• MDPにおける状態行動軌道の分割関数 $\mathcal{Z}(s,a,\beta)$ を構築し、逆温度 $\beta$ でパラメータ化する。これは統計力学の分割関数に類似している。
• 線形ベルマン方程式を$\mathcal{Z}$ に対して導出し、決定的環境では線形になるため、直接解法が可能になる。
• 方策を $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$ として定義し、多くの結果が得られる状態を好むエントロピーを組み込んだボルツマン型方策を生み出す。
• 確率的MDPへの拡張のために、分割関数フレームワークと整合性を保つために変分的近似を用いる。
• 幾何的更新則を$\mathcal{Z}$ に対して提案する：$\mathcal{Z}(s_t,a_t,\beta) \leftarrow \mathcal{Z}(s_t,a_t,\beta)^{1-\alpha} \times \left(e^{\beta r_t + \mu} \sum_{a_{t+1}} \mathcal{Z}(s_{t+1},a_{t+1},\beta)\right)^\alpha$。これはQ学習における線形補間の代わりである。
• 誘導される$Q$-関数の更新が期待SARSAと同等であり、分散低減と標準的な探索戦略との互換性を実現することを示す。

実験結果

リサーチクエスチョン

• RQ1 統計力学からの分割関数形式を強化学習問題に意味的に適用可能か？
• RQ2 $\mathcal{Z}$-関数はMDPでベルマン方程式を満たすか？決定的設定では閉形式で解けるか？
• RQ3 物理的およびアルゴリズム的整合性を保ちながら、$\mathcal{Z}$-関数を確率的環境にどのように拡張できるか？
• RQ4 $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$ から導かれる方策の性質は何か？標準的なボルツマン方策とはどのように異なるか？
• RQ5 明示的な価値関数表現を避ける$\mathcal{Z}$-関数更新に基づくモデルフリー強化学習アルゴリズムを構築可能か？

主な発見

• $\mathcal{Z}$-関数は決定的MDPでは線形ベルマン方程式を満たし、標準的な価値関数アプローチでは得られない直接解法が可能になる。
• 価値関数は $Q(s,a,\beta) = \frac{\partial}{\partial\beta} \log \mathcal{Z}(s,a,\beta)$ として$\mathcal{Z}$-関数から導出可能であり、平均エネルギーとして解釈できる。
• ${\mathcal{Z}}$-関数から導かれる方策はボルツマン型であり、多くの軌道が可能な状態を自然に好む。エントロピーを探索に組み込む自然な方法を提供する。
• 提案された学習アルゴリズムは$\mathcal{Z}$ に対する幾何的更新則を用い、$Q$-関数の更新が期待SARSAと同等になる。これにより、標準SARSAよりも分散が低減される。
• 明示的な価値関数表現を避けるモデルフリー強化学習が可能となり、統計力学の概念に基づく新しいパラダイムを提供する。
• このアプローチは方策に自然なエントロピー的好みを提供する。${\mathcal{Z}}$-ベースの方策は、高さの高い軌道多様性を持つ状態を好む。これは標準的な強化学習定式化では明示的に捉えられていない特徴である。