[論文レビュー] Floyd-Warshall Reinforcement Learning: Learning from Past Experiences to Reach New Goals

Vikas Dhiman, Shurjo Banerjee+2 more|arXiv (Cornell University)|Sep 25, 2018

Reinforcement Learning in Robotics参考文献 22被引用数 10

ひとこと要約

本稿では、Floyd-Warshall最短経路アルゴリズムにインspiredされた三角不等式制約を活用するモデルフリー強化学習アルゴリズム、Floyd-Warshall強化学習（FWRL）を提案する。FWRLは、任意の2つの状態間の最適パス値が中間状態を通る任意の間接パスの値以上であるように制約を課すことにより、動的で変化するゴール間での経験の転送を効率的に行える。このアプローチにより、表形式のグリッドワールド環境においてQ学習、モデルベースRL、およびベースラインと比較して、より高いサンプル効率と優れた漸近的性能を達成する。

ABSTRACT

Consider mutli-goal tasks that involve static environments and dynamic goals. Examples of such tasks, such as goal-directed navigation and pick-and-place in robotics, abound. Two types of Reinforcement Learning (RL) algorithms are used for such tasks: model-free or model-based. Each of these approaches has limitations. Model-free RL struggles to transfer learned information when the goal location changes, but achieves high asymptotic accuracy in single goal tasks. Model-based RL can transfer learned information to new goal locations by retaining the explicitly learned state-dynamics, but is limited by the fact that small errors in modelling these dynamics accumulate over long-term planning. In this work, we improve upon the limitations of model-free RL in multi-goal domains. We do this by adapting the Floyd-Warshall algorithm for RL and call the adaptation Floyd-Warshall RL (FWRL). The proposed algorithm learns a goal-conditioned action-value function by constraining the value of the optimal path between any two states to be greater than or equal to the value of paths via intermediary states. Experimentally, we show that FWRL is more sample-efficient and learns higher reward strategies in multi-goal tasks as compared to Q-learning, model-based RL and other relevant baselines in a tabular domain.

研究の動機と目的

• マルチゴールタスクにおけるモデルフリー強化学習の、異なるゴール位置間での知識転送の限界を解決すること。
• 標準的なQ学習のサンプル非効率性を、過去の軌道の構造的再利用によって克服すること。
• 明示的なモデル学習や再トレーニングを必要とせず、過去の経験を保持・一般化する手法を開発すること。
• 表形式のマルチゴール強化学習タスクにおけるサンプル効率と漸近的性能を向上させること。

提案手法

• FWRLは、状態 $ s $ で行動 $ a $ をとった後、ゴール状態 $ s' $ に到達するまでの期待累積報酬を表す、ゴール条件付きの行動価値関数 $ F_{\pi}^{*}(s'|s,a) $ を導入する。
• 核心的なイノベーションは三角不等式制約であり、$ F_{\pi^{*}_{s_j}}^{*}(s_j|s_i,a_i) \geq F_{\pi^{*}_{s_k}}^{*}(s_k|s_i,a_i) + \max_{a_k} F_{\pi^{*}_{s_j}}^{*}(s_j|s_k,a_k) $ と表される。この制約により、中間状態を通る経路の最適性が伝播され、経路の推移的最適性が保証される。
• この制約により、ゴールに到達しなかった過去の複数の軌道でさえ、暗黙的かつ一般化的に組み合わせられ、新たなスタート・ゴールペアへの転送が可能になる。
• FWRLは、FW制約を組み込んだ表形式のQ学習スタイルの更新を用い、エピソード全体にわたって価値関数を段階的に最適化する。
• 本手法は、標準的および風の影響を受けるグリッドワールド環境で評価され、Q学習、ゴールを連結したQ学習（QLCAT）、およびモデルベースRLと比較されている。
• トレーニングでは経験再生を用い、評価時にはグリーディポリシー推論が行われるが、テスト段階では探索は一切実施しない。

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習アルゴリズムは、静的環境における異なるゴール位置間で、知識を効果的に転送できるか？
• RQ2 Floyd-Warshall風の推移的最適性制約を課すことにより、マルチゴールタスクにおけるサンプル効率と性能がどのように向上するか？
• RQ3 標準的なQ学習と比較して、FWRLはゴールに到達しなかった過去の軌道からどれほど一般化できるか？
• RQ4 表形式環境において、FWRLはモデルフリーおよびモデルベースのベースラインを報酬と距離非効率性の両面で上回るか？

主な発見

• FWRLは、標準的および風の影響を受けるグリッドワールド環境の両方で、Q学習、QLCAT、およびモデルベースRLと比較して、一貫して高い平均報酬を達成した。
• FWRLは顕著に低い距離非効率性を示し、特に複雑または確率的な環境において、より最適な経路選択がなされていることが示された。
• 報酬曲線において、FWRLのパフォーマンスはすべてのベースラインを上回り、高報酬戦略を学習する際の優れたサンプル効率を示した。
• 定性的なテストでは、FWRLは別のエピソードからの新しいスタート状態から、最短経路でゴール状態に到達できたが、QLCATは一般化が不可能なため失敗した。
• FWRLが学習した価値関数は、状態全体にわたり一貫性があり、ゴール指向の構造を示しており、最適価値が中間状態を介して明確に伝播していた。
• FWRLは、学習中に観測しなかったスタート・ゴールの組み合わせにおいてもQLCATを上回り、訓練中に見られた特定の軌道を超えて一般化できる能力を証明した。