[論文レビュー] Search on the Replay Buffer: Bridging Planning and Reinforcement Learning

Benjamin Eysenbach, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 63被引用数 39

ひとこと要約

SoRBは、リプレイバッファ観察上にグラフを構築し、学習済み距離推定を用いたゴール条件付きポリシーを使って、長期の疎報酬タスクの最短経路計画を行うことで、計画と深層RLを統合します。標準的なRLおよび関連の計画-RLハイブリッドよりも、特に画像ベースのナビゲーションと未知環境で優れた性能を示します。

ABSTRACT

The history of learning for control has been an exciting back and forth between two broad classes of algorithms: planning and reinforcement learning. Planning algorithms effectively reason over long horizons, but assume access to a local policy and distance metric over collision-free paths. Reinforcement learning excels at learning policies and the relative values of states, but fails to plan over long horizons. Despite the successes of each method in various domains, tasks that require reasoning over long horizons with limited feedback and high-dimensional observations remain exceedingly challenging for both planning and reinforcement learning algorithms. Frustratingly, these sorts of tasks are potentially the most useful, as they are simple to design (a human only need to provide an example goal state) and avoid reward shaping, which can bias the agent towards finding a sub-optimal solution. We introduce a general control algorithm that combines the strengths of planning and reinforcement learning to effectively solve these tasks. Our aim is to decompose the task of reaching a distant goal state into a sequence of easier tasks, each of which corresponds to reaching a subgoal. Planning algorithms can automatically find these waypoints, but only if provided with suitable abstractions of the environment -- namely, a graph consisting of nodes and edges. Our main insight is that this graph can be constructed via reinforcement learning, where a goal-conditioned value function provides edge weights, and nodes are taken to be previously seen observations in a replay buffer. Using graph search over our replay buffer, we can automatically generate this sequence of subgoals, even in image-based environments. Our algorithm, search on the replay buffer (SoRB), enables agents to solve sparse reward tasks over one hundred steps, and generalizes substantially better than standard RL algorithms.

研究の動機と目的

• 報酬設計やデモンストレーションなしで、高次元観測を伴う長期的な制御タスクを解く動機づけ。
• 以前に観測した状態上のグラフ探索を通じて、長期的な計画をサブゴールに分解する。
• ゴール条件付きRLから距離推定を学習し、リプレイバッファグラフ上での計画を可能にする。
• 画像ベースの視覚ナビゲーションと新しい環境への汎化におけるSoRBの実証的利点を示す。

提案手法

• オフポリシーRLとゴールリラベリングおよび分布的RLを用いて、ゴール条件付きポリシーとそのQ/Value関数を訓練する。
• 学習されたポリシー下の状態間の最短経路のステップ数として距離指標 d_sp(s,s_g) を定義する; V(s,s_g) および Q(s,a,s_g) を負の最短経路距離に関連付ける。
• 観察のリプレイバッファ上に、予測距離と同じ重みをエッジにした重み付き有向グラフを構築し、エッジを MaxDist で上限化する。
• Dijkstra のアルゴリズムを用いてバッファベースのグラフの最短経路を求め、ゴール条件付きポリシーを中間ウェイポイントへ誘導する。
• 計画のために複数のQネットワークをアンサンブルしてロバストな距離推定を得る。距離の不確実性を表すために分布的RLを用いる。
• Algorithm 1 (SearchPolicy) はリプレイバッファ上で計画を行い、距離と MaxDist に応じて次のウェイポイントまたは最終目標でポリシーを条件付けする。

実験結果

リサーチクエスチョン

• RQ1 ゴール条件付き価値関数に導かれたリプレイバッファ上のグラフ探索は、高次元観測空間での長期目標の信頼できる計画を可能にするか？
• RQ2 分布的RLとアンサンブルで学習した距離推定は、画像ベースのナビゲーションタスクに対して堅牢な計画信号を生み出すか？
• RQ3 長期的な疎報酬設定において、SoRBは標準的なゴール条件付きRLや従来の計画-RLハイブリッドとどう比較されるか？
• RQ4 SoRBは、以前に見た観察に基づく計画で、未知の環境（例：新しい家）に一般化するか？
• RQ5 性能とロバスト性のために、どの構成要素（距離推定、アンサンブル、分布的RL）が必須か？

主な発見

• SoRB は 100 ステップを超える長期の疎報酬タスクの解決を可能にし、標準RLよりも計画を改善する。
• 画像観測を伴う視覚ナビゲーションでは、SoRB は遠いゴールに到達する一方、標準のゴール条件付きRL は短期的な範囲を超えると難しくなる。
• SoRB は visual navigation タスクで SPTM、VIN、HER、C51 などのベースラインを大きく上回り、特にゴール距離が大きくなるほど顕著に優れる。
• 値関数のアンサンブルは、少なくとも10ステップ離れたゴールで10-20%の利得に寄与し、分布的RLは有意義な距離推定を学習するために極めて重要である。
• SoRB は新しく見ていない SUNCG の家にも一般化し、10ステップ離れたゴールで約80%の成功を達成し、単独のゴール条件付きRL をはるかに上回る。
• SPTM と比較して、SoRB はより正確な距離予測を提供し、適合率-再現率で測定される実際の navigability によりよく整合する。