[論文レビュー] Learning and Planning in Average-Reward Markov Decision Processes

Yi Wan, Abhishek Naik+1 more|arXiv (Cornell University)|Jun 29, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 15

ひとこと要約

本稿では、平均報酬マルコフ決定過程に対する、参照状態や関数に依存せずに真の価値関数に収束する、新しい非政策モデルフリー学習および計画アルゴリズムを紹介する。主なアルゴリズムとして、差分Q学習と差分TD学習を提案し、これらは参照状態や関数を用いずに真の価値関数に収束する。主な貢献は、未知の定数によるオフセットがない真の価値関数への収束であり、これは時系列差分誤差を用いて平均報酬推定値を更新することで達成され、表形式および線形関数近似の両設定において、参照状態に依存しない堅牢な学習を可能にする。

ABSTRACT

We introduce learning and planning algorithms for average-reward MDPs, including 1) the first general proven-convergent off-policy model-free control algorithm without reference states, 2) the first proven-convergent off-policy model-free prediction algorithm, and 3) the first off-policy learning algorithm that converges to the actual value function rather than to the value function plus an offset. All of our algorithms are based on using the temporal-difference error rather than the conventional error when updating the estimate of the average reward. Our proof techniques are a slight generalization of those by Abounadi, Bertsekas, and Borkar (2001). In experiments with an Access-Control Queuing Task, we show some of the difficulties that can arise when using methods that rely on reference states and argue that our new algorithms can be significantly easier to use.

研究の動機と目的

• 平均報酬MDPにおける一般化され、収束するオフポリシー非モデルフリー制御アルゴリズムが、参照状態を必要としないようにすること。
• 真の価値関数および報酬レートに収束する予測アルゴリズムを開発すること。これは、未知の定数によるオフセットがある関数ではなく、真の価値関数を求めるものである。
• 頻繁に訪問される状態・行動ペairの事前知識を必要とする参照関数への依存を排除すること。これは、事前に解の一部を知っているのと同等である場合があるため。
• ハイパーパrameterの選択に頑健であるように、線形関数近似設定への収束保証を拡張すること。

提案手法

• 参照状態を必要とせず、時系列差分誤差を用いて平均報酬推定値を更新することで、平均報酬の明示的推定を維持するオフポリシー制御アルゴリズム「差分Q学習」を提案する。
• 時系列差分誤差に基づく更新を用いて、真の報酬レートおよび差分価値関数に収束する、新しいオフポリシー予測アルゴリズム「差分TD学習」を導入する。
• Abounadiら（2001）の収束証明技法を一般化し、参照状態の欠如を扱い、真の価値関数への収束を保証する。
• 従来の誤差形式ではなく、時系列差分誤差を平均報酬および価値関数推定の主な更新信号として使用する。
• 連続状態設定におけるスケーラビリティと頑健性を評価するために、実験でタイリングコーディングを用いた線形関数近似を採用する。
• バッチ処理ではなく、オンラインで逐次更新を行うことで、継続的タスクにおけるリアルタイム学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 平均報酬MDP用のオフポリシー非モデルフリー制御アルゴリズムは、参照状態や関数に依存せずに設計可能だろうか？
• RQ2 真の価値関数および報酬レートに収束する予測アルゴリズムは開発可能だろうか？これは、未知の定数によるオフセットがある関数ではなく、真の価値関数を求めるものである。
• RQ3 平均報酬推定に時系列差分誤差を用いることで、従来手法と比較して収束性および頑健性が向上するだろうか？
• RQ4 ハイパーパrameterの選択に対する頑健性という観点から、参照状態フリーのアルゴリズムとRVI Q学習のような参照ベースのアルゴリズムの性能はどのように比較されるだろうか？
• RQ5 提案されたアルゴリズムは、収束性と性能を保持したまま、線形関数近似設定へと成功裏に拡張可能だろうか？

主な発見

• 差分Q学習は、参照状態を必要とせず真の価値関数に収束する。これは、平均報酬強化学習における長年の制限を解決する。
• アルゴリズムはハイパーパrameterの選択に対して頑健であり、学習率ηを含め、広い範囲の学習率およびステップサイズにおいて学習性能が安定している。
• キャッチャー問題において、差分Q学習はタイリングコーディングを用いた線形関数近似により、最適値1.0に近い約0.9の報酬レートを達成した。
• RVI Q学習の性能は、参照関数の選択に極めて敏感であり、参照状態が頻繁に訪問されない場合には著しく劣化した。
• RVI Q学習では、最初に観測された特徴ベクトルを参照として使用したが、1次元のキャッチャー領域では2次元のパックワールド領域よりも性能が良かった。これは、環境構造への感受性を示している。
• 差分TD学習は、平均報酬MDP用に、真に収束が保証された初のオフポリシー非モデルフリー予測アルゴリズムであり、報酬レートおよび差分価値関数を正確に推定する。