[論文レビュー] The Value Function Polytope in Reinforcement Learning

Robert Dadashi, Adrien Ali Taïga+3 more|arXiv (Cornell University)|Jan 31, 2019

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本稿では、有限状態のマルコフ決定過程におけるすべての可能な価値関数の幾何的表現である価値関数ポリトープを導入し、それが非凸的で自己交差を含む可能性があるポリトープを形成することを示している。主な貢献は「線定理」であり、1つの状態での方策の変更が価値関数空間内で単調な線分を生成することを示しており、強化学習の学習ダイナミクスに関する新たな可視化と洞察を可能にしている。

ABSTRACT

We establish geometric and topological properties of the space of value functions in finite state-action Markov decision processes. Our main contribution is the characterization of the nature of its shape: a general polytope (Aigner et al., 2010). To demonstrate this result, we exhibit several properties of the structural relationship between policies and value functions including the line theorem, which shows that the value functions of policies constrained on all but one state describe a line segment. Finally, we use this novel perspective to introduce visualizations to enhance the understanding of the dynamics of reinforcement learning algorithms.

研究の動機と目的

• 有限状態のMDPにおける価値関数空間の幾何的・位相的構造を同定すること。
• 方策の変更とそれに伴う価値関数の変化の関係、特に制約付き方策変更に注目すること。
• 価値関数ポリトープを用いた強化学習アルゴリズムの新たな可視化を構築し、アルゴリズムの挙動と収束性の理解を深めること。
• ポリトープの構造的性質（面や部分ポリトープ）と、方策の決定的性質、方策変更の次元数との関係を調査すること。
• 価値関数ポリトープの観点から、一般的な強化学習アルゴリズム（例：方策勾配、自然方策勾配、CEM）のダイナミクスを分析すること。

提案手法

• 方策 $ \pi $ から価値関数 $ V^\pi $ への写像 $ f_v: \pi \mapsto V^\pi $ を定義し、$ V^\pi $ を $ \mathbb{R}^{|\mathcal{S}|} $ 内のベクトルとして扱う。
• 「線定理」の証明：すべての状態を除き同じ方策をとる2つの方策は、価値関数空間内で単調な線分を形成する。
• ポリトープの $ d $ 次元の面を、少なくとも $ d $ 個の状態で決定的である方策に対応させることを特徴づける。
• 線定理を高次元に一般化し、$ d $ 個の状態での方策変更が、$ d $ 次元の部分ポリトープを生成することを示す。
• 凸解析と位相幾何学を用いて、非凸的または自己交差を含む場合でもポリトープ構造を確立する。
• 価値反復、方策反復、方策勾配、自然方策勾配、CEMなどの強化学習アルゴリズムの学習ダイナミクスを価値関数ポリトープ上に可視化し、収束パターンや落とし穴を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 有限MDPにおける定常方策が誘導するすべての価値関数の集合の幾何的構造は何か？
• RQ2 1つの状態での方策の変更が結果として得られる価値関数に与える影響は何か？これは価値関数空間内での線分として特徴づけられるか？
• RQ3 価値関数ポリトープの面の次元と、それに対応する方策の決定的性質との関係は何か？
• RQ4 一般的な強化学習アルゴリズムは価値関数ポリトープをどのように探索するか？その軌道を可視化することで何が明らかになるか？
• RQ5 ポリトープ構造は、方策勾配法やCEM法における遅い収束や、最適でない収束といった観察される挙動を説明できるか？

主な発見

• 方策から価値関数への写像の像は、有限状態MDPにおいて非凸的で自己交差を含む可能性があるポリトープを形成する。
• 「線定理」により、1つの状態の行動を除き同一の2つの方策は、価値関数空間内で単調に変化する線分上に価値関数を生成する。
• 価値関数ポリトープの各 $ d $ 次元の面は、少なくとも $ d $ 個の状態で決定的な方策に対応する。
• $ d $ 個の状態での方策変更は、全体の価値関数ポリトープ内に $ d $ 次元の部分ポリトープを生成する。
• 方策勾配法はポリトープの頂点から頂点へと移動する傾向があり、方策反復に類似した挙動を示し、最適でない方策への収束によって遅延を受けることがある。
• 方策勾配法におけるエントロピー正則化は、ポリトープの境界から離れる方向への移動を促進し、収束速度を向上させるが、最適でない方策への収束を引き起こす可能性がある。