[論文レビュー] Time Limits in Reinforcement Learning

Fabio Pardo, Arash Tavakoli+2 more|arXiv (Cornell University)|Dec 1, 2017

Reinforcement Learning in Robotics参考文献 32被引用数 13

ひとこと要約

本論文は、時間制限付きエピソードにおける強化学習のための2つの主要な改善を提案する。1つ目は、時間制限タスクにおけるマルコフ性を保つために残り時間の情報を入力に組み込む「時間に配慮したアプローチ」であり、2つ目は、時間制限による終了と環境的要因による終了を区別することで安定な価値関数学習を可能にする「部分エピソードのブートストラップ」である。両手法とも、表形式およびディープ強化学習のベンチマークにおいて、ポリシー性能と学習の安定性を顕著に向上させる。

ABSTRACT

In reinforcement learning, it is common to let an agent interact for a fixed amount of time with its environment before resetting it and repeating the process in a series of episodes. The task that the agent has to learn can either be to maximize its performance over (i) that fixed period, or (ii) an indefinite period where time limits are only used during training to diversify experience. In this paper, we provide a formal account for how time limits could effectively be handled in each of the two cases and explain why not doing so can cause state aliasing and invalidation of experience replay, leading to suboptimal policies and training instability. In case (i), we argue that the terminations due to time limits are in fact part of the environment, and thus a notion of the remaining time should be included as part of the agent's input to avoid violation of the Markov property. In case (ii), the time limits are not part of the environment and are only used to facilitate learning. We argue that this insight should be incorporated by bootstrapping from the value of the state at the end of each partial episode. For both cases, we illustrate empirically the significance of our considerations in improving the performance and stability of existing reinforcement learning algorithms, showing state-of-the-art results on several control tasks.

研究の動機と目的

• 時間制限の不適切な取り扱いが引き起こす状態の同一視と学習の不安定性を是正すること。
• エピソード的強化学習における時間制限による終了と環境的要因による終了の明確な区別を形式化すること。
• 残り時間をエージェントの入力に組み込むことで、時間制限タスクにおける報酬の割り当てと価値関数推定を改善すること。
• 時間制限による終了状態からのブートストラップを用いることで、部分エピソードを持つ時間無制限タスクにおける学習の安定性と性能を向上させること。
• 標準的な制御ベンチマークにおいて、表形式Q学習およびプロキシマルポリシーオプティマイゼーション（PPO）を用いて、これらの手法の有効性を実証すること。

提案手法

• 残り時間を正規化されたスカラーとしてエージェントの観測に追加することで、時間に配慮したアプローチを導入し、時間制限タスクにおけるマルコフ性が保たれることを保証する。
• 有限ホライズンの報酬を明示的にモデル化するため、修正されたリターン定式化 $ G_{t:T} = \sum_{k=1}^{T-t} \gamma^{k-1} R_{t+k} $ を用いる。但し $ \gamma = 1 $ とする。
• 時間制限による終了の場合にのみ、最後の状態の価値からブートストラップを行う「部分エピソードのブートストラップ」（PEB）を実装する。環境的要因による終了とは区別される。
• PPOにおけるアドバンテージ推定を修正し、時間制限が終了を引き起こした場合に最終状態の価値を使用するようにし、一貫性のあるブートストラップを確保する。
• 標準的なMuJoCoおよびOpenAI Gym環境に両手法を適用し、標準的なハイパーパrameterを用いた表形式Q学習およびPPOを用いる。
• 経験リプレイを用い、バッファサイズの慎重なチューニングを行う。PPOの性能低下がバッファサイズに依存することを示し、PEBがその影響を緩和することを示す。

実験結果

リサーチクエスチョン

• RQ1 時間制限付き強化学習タスクにおいて、残り時間の情報を無視すると、ポリシー学習と報酬の割り当てにどのような影響が生じるか？
• RQ2 時間制限の適切な取り扱いが行われない場合、なぜ経験リプレイが不安定性と劣悪なポリシーを引き起こすのか？
• RQ3 時間制限による終了状態からのブートストラップは、部分エピソードを持つ時間無制限タスクにおける価値関数推定を改善できるか？
• RQ4 有限ホライズンタスクにおいて、時間に配慮したアプローチが、固定時間ウィンドウ内で報酬を最大化する必要があるエージェントの性能をどの程度向上させるか？
• RQ5 異なる強化学習アルゴリズムおよび環境において、時間に配慮したアプローチと部分エピソードのブートストラップは、性能と安定性の観点でどのように比較されるか？

主な発見

• 時間に配慮したエージェントは、残り時間を正しく考慮することで、有限ホライズンタスクにおいて標準的エージェントを上回る性能を発揮し、時間内にゴールに到達できない場合に停止する戦略を学習する。
• T=3 の2ゴールグリッドワールドでは、時間に配慮したQ学習が最適な有限ホライズンポリシーを学習するが、標準的エージェントは無意味な行動を避けられない。
• 部分エピソードのブートストラップは、T=200 の決定的グリッドワールドにおいて、経験リプレイバッファサイズの増大による性能低下を解消する。
• 時間制限環境において、標準的PPOの性能はバッファサイズの増大に伴い著しく低下するが、部分エピソードのブートストラップを用いたPPOは安定的かつ高い性能を維持する。
• 時間に配慮したPPOは、エージェントの入力に時間ホライズンを正しくモデル化することで、いくつかのMuJoCo制御タスクで最先端の性能を達成する。
• 時間に配慮したアプローチと部分エピソードのブートストラップの組み合わせは、表形式およびディープ強化学習の両環境において、より安定的かつサンプル効率の高い学習を実現する。