[論文レビュー] Gradient-based Reinforcement Planning in Policy-Search Methods

Ivo Kwee, Marcus Hütter+1 more|ArXiv.org|Nov 28, 2001

Reinforcement Learning in Robotics参考文献 8被引用数 8

ひとこと要約

この論文は、環境モデルを用いて前向きに勾配に基づく計画を行うことで方策を改善する、新しいポリシー探索手法である勾配ベース強化学習計画（GREP）を紹介する。期待される状態の訪問頻度と報酬最大化を通じて正確なポリシー勾配を導出することにより、行動前にグローバルなポリシー最適化が可能となり、数値結果では最適方策への収束が確認されたが、特に小さなMDPでは遅い収束を示した。

ABSTRACT

We introduce a learning method called ``gradient-based reinforcement planning'' (GREP). Unlike traditional DP methods that improve their policy backwards in time, GREP is a gradient-based method that plans ahead and improves its policy before it actually acts in the environment. We derive formulas for the exact policy gradient that maximizes the expected future reward and confirm our ideas with numerical experiments.

研究の動機と目的

• 行動のための後向き価値反復に依存するのではなく、環境モデルを用いて先読み計画を行うポリシーグラデント手法の開発。
• 将来の期待報酬を最大化するための正確な解析的表現をポリシー勾配として導出すること。
• 従来の後向き動的計画法とは対照的に、前方シミュレーションを通じてグローバルなポリシー改善を可能にすること。
• 部分的に観測可能なMDPや大規模強化学習への応用を想定し、計画とオンラインモデル学習を統合すること。
• 小さなMDP環境における収束性と性能を、グリーディ法やアニーリング法のベースラインと比較して評価すること。

提案手法

• GREPは、ポリシーが引き起こす状態遷移をモデル化するための射影行列 $\mathbf{F}$ を用いる。$F_{ji} = \sum_k T_{kji} P_{ki}$ と定義され、ここで $T_{kji}$ は環境遷移確率、$P_{ki}$ はポリシーのパラメータである。
• 期待される状態訪問頻度 $\mathbf{z}$ は $\mathbf{z} = (\mathbf{I} - \gamma \mathbf{F})^{-1} \mathbf{s}_0$ として計算され、ポリシー下での割合付き状態訪問を表す。
• 期待される将来報酬 $H = \langle \mathbf{r}, \mathbf{z} \rangle$ は勾配ベース最適化により最大化され、ポリシー勾配は $\nabla_{\mathbf{P}} H = \sum_k \mathbf{F}_k^T \mathbf{q} \mathbf{s}_t^T$ として導出される。ここで $\mathbf{q}$ は将来報酬の随伴ベクトルである。
• 本手法は、計画（勾配更新）と行動選択、観測された遷移を用いた $\mathbf{T}_k$ および $\mathbf{F}_k$ のオンライン更新による環境モデル学習を交互に実行する。
• 状態と観測の不確実性に対処するため、カルマンに類似した推定フレームワークを提案し、別々の精度行列 $\mathbf{H}_s$ と $\mathbf{H}_y$ を用いる。
• 導出された勾配を用いてポリシーのパラメータを更新し、収束性の向上を図る再パrameterization（例：ボルツマン分布）をサポートするが、本研究では実装していない。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのポリシー最適化を、前向き計画と効果的に組み合わせることで、ポリシー収束性を向上させることができるか？
• RQ2 従来の後向き動的計画法と比較して、モデルベースの前向き計画法はポリシー探索においてどのように異なるか？
• RQ3 状態訪問頻度（$\gamma_z$）と報酬随伴（$\gamma_q$）のための異なる割引率が、ポリシー勾配更新の性能と挙動に与える影響は何か？
• RQ4 GREPは、部分的に観測可能な環境において、オンラインモデル学習と効果的に統合できるか？
• RQ5 小さなMDPにおいて、GREPの性能はグリーディ法やアニーリング戦略と比べてどのように異なるか？

主な発見

• GREPは、期待される状態訪問頻度と随伴報酬伝播を用いて正確なポリシー勾配を導出し、グローバルなポリシー改善を可能にした。
• 数値実験により、確率的ポリシーが最適方策に収束することが確認されたが、収束は比較的遅い。
• トゥイMDPの例では、グリーディ法やアニーリングによる行動選択の方が、GREPの完全な勾配更新よりも最適解に到達するまでに時間がかからなかった。
• 状態訪問頻度（$\gamma_z$）と報酬随伴（$\gamma_q$）に対して別々の割引率を用いることで、適応的計画時間軸の可能性が示された。
• GREPとカルマンに類似した推定の統合により、状態と観測の不確実性に対処でき、POMDPに類似した設定への応用が可能になった。
• 大規模な問題では、$\mathbf{z}$ と $\mathbf{q}$ の解析的解が不適切になるため、モンテカルロ法や動的計画法の近似が必要となると考えられる。