[論文レビュー] Goal-Conditioned Reinforcement Learning with Imagined Subgoals

Elliot Chane-Sane, Cordelia Schmid+1 more|arXiv (Cornell University)|Jul 1, 2021

Reinforcement Learning in Robotics被引用数 26

ひとこと要約

本論文は RIS を紹介します。高レベル方針によって生成された想像サブゴールを用いてゴール条件付きポリシーを訓練し、事前分布への KLダイバージェンスで正則化することで、時系列的に拡張されたタスクの学習を加速します。テスト時には平坦なポリシーのみが使用されます。

ABSTRACT

Goal-conditioned reinforcement learning endows an agent with a large variety of skills, but it often struggles to solve tasks that require more temporally extended reasoning. In this work, we propose to incorporate imagined subgoals into policy learning to facilitate learning of complex tasks. Imagined subgoals are predicted by a separate high-level policy, which is trained simultaneously with the policy and its critic. This high-level policy predicts intermediate states halfway to the goal using the value function as a reachability metric. We don't require the policy to reach these subgoals explicitly. Instead, we use them to define a prior policy, and incorporate this prior into a KL-constrained policy iteration scheme to speed up and regularize learning. Imagined subgoals are used during policy learning, but not during test time, where we only apply the learned policy. We evaluate our approach on complex robotic navigation and manipulation tasks and show that it outperforms existing methods by a large margin.

研究の動機と目的

• 時系列的に拡張された推論を扱えるようゴール条件付き RL の動機づけ
• ポリシー学習を導き、加速させる想像サブゴールを提案する
• サブゴールを予測する高レベル方針と、KL正則化されたポリシー更新のための事前分布を学習する
• 遠くのゴールへ到達できる単一の平坦なポリシーをテスト時に有効にする
• シミュレートされたロボットのナビゲーションと操作タスクでサンプル効率の高い学習を実証する

提案手法

• ターゲットポリシーとそのクリティックと共に訓練される高レベル方針によって予測された想像サブゴールを導入する
• 想像サブゴールへ到達するために必要な行動の分布として事前ポリシーを定義し、この事前へ向かうKL制約でゴール条件付きポリシーを正則化する
• 現在の価値関数を用いて状態間の距離を定義し、サブゴール選択を導く
• 現在の状態からゴールまでの経路の中点としてサブゴールを予測し、 horizon を短縮する
• 非パラメトリックな高レベル方針を訓練し、KLベースの更新（式6–7）を通じてパラメトリック空間に射影する
• 希少報酬に対して HER を用いたオフポリシーアクタークリティックフレームワークを採用する（アルゴリズム1）

実験結果

リサーチクエスチョン

• RQ1 想像サブゴールは長いホライズンのタスクにおけるゴール条件付き RL の学習を加速できるか？
• RQ2 高レベル方針は平坦なポリシーを効果的に正則化・誘導するサブゴールをどのように予測できるか？
• RQ3 サブゴール情報を含む事前分布への KL 正則化は安定性とサンプル効率を向上させるか？
• RQ4 RIS はナビゲーションタスクからピクセル入力を用いる視覚ベースの操作タスクへ一般化できるか？
• RQ5 サブゴールで訓練してもテスト時には単一のポリシーで性能を達成できるか？

主な発見

• RIS は ant ナビゲーション迷路と視覚ベースの操作において、SAC+HER、LEAP、TDMs よりサンプル効率を大幅に改善した
• 高レベル方針は訓練中にオラクルと整合的なサブゴール（軌道上の中点）を学習する
• 暗黙の KL 正則化により想像サブゴールが有効な状態分布内に保たれ、発散を防ぐ
• 視覚タスクにおける想像サブゴールにより、RIS は SAC および LEAP を、計算量を抑えて（単一のフォワードパス vs プランニング）上回る
• 移動平均を用いた平均化されたサブゴール事前分布は訓練を安定化させ、収束を支援する
• RIS は従来法が苦戦する、より難易度の高いホライゾンタスクを解決する