[論文レビュー] Forward-Backward Reinforcement Learning

Ashley D. Edwards, Laura Downs+1 more|arXiv (Cornell University)|Mar 27, 2018

Reinforcement Learning in Robotics参考文献 12被引用数 20

ひとこと要約

本稿では、目的状態から逆方向に軌道を想像するバックワードダイナミクスモデルを学習することで、スパarsely-rewarded環境における学習を加速するForward-Backward Reinforcement Learning (FBRL)を提案する。この手法により、エージェントは逆方向に推論し、より効果的に報酬を伝搬できるようになる。FBRLは、GridworldおよびTowers of Hanoiにおいて、標準的なDDQNを上回り、特に高ホライズンタスクにおいて顕著な性能向上を示した。これは、ガイド付き逆方向ロールアウトを活用することで、サンプル効率と価値関数の一般化が向上したためである。

ABSTRACT

Goals for reinforcement learning problems are typically defined through hand-specified rewards. To design such problems, developers of learning algorithms must inherently be aware of what the task goals are, yet we often require agents to discover them on their own without any supervision beyond these sparse rewards. While much of the power of reinforcement learning derives from the concept that agents can learn with little guidance, this requirement greatly burdens the training process. If we relax this one restriction and endow the agent with knowledge of the reward function, and in particular of the goal, we can leverage backwards induction to accelerate training. To achieve this, we propose training a model to learn to take imagined reversal steps from known goal states. Rather than training an agent exclusively to determine how to reach a goal while moving forwards in time, our approach travels backwards to jointly predict how we got there. We evaluate our work in Gridworld and Towers of Hanoi and empirically demonstrate that it yields better performance than standard DDQN.

研究の動機と目的

• 報酬がスパarselyな環境における強化学習のサンプル非効率性という課題に取り組む。この場合、エージェントはランダムな探索によって目的状態に到達することが困難である。
• 目的状態の知識を組み込むことで、目的から逆方向に推論できるようにすることで、学習を加速できるかどうかを検討する。
• 前向きおよび後向きの想像を組み合わせた手法を開発し、価値関数の学習とポリシーのサンプル効率を向上させることを目的とする。
• 実験的に、後向きの想像が、困難なスパarsely-rewarded環境における標準的なモデルフリー強化学習よりも、収束が速く、性能が優れているかどうかを検証する。

提案手法

• FBRLは、既知の目的状態から逆方向に状態変化を予測する学習済みのバックワードダイナミクスモデルを導入し、エージェントが逆方向の軌道をシミュレートできるようにする。
• バックワードモデルは、行動に起因する状態変化を逆方向に予測するように訓練され、例えばGridworldではΔxおよびΔyの変化、Towers of Hanoiではビット反転の変化を予測する。
• この手法は、実際の経験と併せて想像された逆方向の経験を用いてQ値を更新するDDQNフレームワークに統合されている。
• 前向きロールアウト（初期状態から）と後向きロールアウト（目的状態から）を交互に実行する二重ストリームの訓練プロセスが採用され、経験リプレイは実際の遷移と想像された遷移の両方を格納する。
• バックワードモデルは、予測された逆方向状態遷移と実際の遷移との差を最小化する損失関数を用いて更新され、環境の真のダイナミクスに整合するよう保証される。
• 例えば、Gridworldでは10ステップ、Towers of Hanoiでは5ステップの非同期的ロールアウトを用いることで、価値関数のブートストラップに多様な逆方向軌道を生成する。

実験結果

リサーチクエスチョン

• RQ1 既知の目的状態から後向きの想像を可能にすることで、スパarsely-rewarded強化学習におけるサンプル効率が向上するか？
• RQ2 前向きおよび後向きのロールアウトを組み合わせることで、高ホライズンタスクにおいて標準的なモデルフリー強化学習よりも収束が速くなるか？
• RQ3 タスクの複雑さと報酬のスパarsityが増す環境において、FBRLの性能はDDQNと比べてどのように異なるか？
• RQ4 部分的に観測可能または構造的な環境において、後向きの想像は価値関数の一般化とポリシー学習にどのような影響を与えるか？

主な発見

• Gridworldでは、FBRLは標準的なDDQNを顕著に上回り、グリッドサイズが5×5から20×20に拡大するに従い、性能差が拡大した。これは、高ホライズンタスクへの優れたスケーラビリティを示している。
• Towers of Hanoiでは、FBRLはDDQNを上回る学習性能を示した。特にディスク数が3つの場合に顕著で、組み合わせ的かつ構造的な環境でも有効であることが示された。
• 短ホライズンタスクにおいても、性能に劣化が見られなかったため、後向きの想像が標準的な学習ダイナミクスを妨げないことが示された。
• 3ディスクのTowers of Hanoiでは、FBRLの性能がわずかに低下したが、これはバックワードモデルの過学習の可能性を示唆しており、モデル容量と一般化能力への感受性があることを示している。
• バックワードモデルは初期段階で局所的ダイナミクスを的確に捉え、徐々にグローバルな制約（例：壁の位置）を学習し、時間経過とともに価値関数の精度が向上した。
• 後向きの想像の統合により、収束が早くなり、特に探索が困難なスパarsely-rewarded環境では、学習曲線の安定性が向上した。