[論文レビュー] C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks

Tianjun Zhang, Benjamin Eysenbach+3 more|arXiv (Cornell University)|Oct 22, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 4

ひとこと要約

C-Planning は、学習時グラフ探索を用いて中間ウェイポイントを生成することで、ゴール到達タスクのための自動カリキュラムを提案し、サンプル効率を向上させ、テスト時計画を必要とせずに長時間スケールのナビゲーションおよび操作タスクの学習を可能にします。期待最大化を用いて探索をポリシー学習に統合することで、テスト時探索や手動カリキュラム設計に依存する従来手法を上回る最先端の性能を達成しています。

ABSTRACT

Goal-conditioned reinforcement learning (RL) can solve tasks in a wide range of domains, including navigation and manipulation, but learning to reach distant goals remains a central challenge to the field. Learning to reach such goals is particularly hard without any offline data, expert demonstrations, and reward shaping. In this paper, we propose an algorithm to solve the distant goal-reaching task by using search at training time to automatically generate a curriculum of intermediate states. Our algorithm, Classifier-Planning (C-Planning), frames the learning of the goal-conditioned policies as expectation maximization: the E-step corresponds to planning an optimal sequence of waypoints using graph search, while the M-step aims to learn a goal-conditioned policy to reach those waypoints. Unlike prior methods that combine goal-conditioned RL with graph search, ours performs search only during training and not testing, significantly decreasing the compute costs of deploying the learned policy. Empirically, we demonstrate that our method is more sample efficient than prior methods. Moreover, it is able to solve very long horizons manipulation and navigation tasks, tasks that prior goal-conditioned methods and methods based on graph search fail to solve.

研究の動機と目的

• エキスパートのデモンストレーションや報酬形状を用いずに、ゴール条件付き強化学習において遠く離れたゴールに到達する能力を学習する課題に対処すること。
• マルチオブジェクト操作や複雑なナビゲーションなどの長時間スケール制御タスクにおけるサンプル効率を向上させること。
• 学習プロセスに探索を統合することで、テスト時計画の必要性を排除すること。
• ポリシーのデータ品質を向上させる中間ウェイポイントのカリキュラムを自動生成すること。
• オンライン計画を回避することで、最小限の推論遅延で学習済みポリシーをデプロイ可能にすること。

提案手法

• C-Planning は、ゴール条件付きRLを期待最大化（EM）プロセスとして定式化し、Eステップではグラフ探索を用いて遠く離れたゴールに到達する最適なウェイポイントシーケンスを計画する。
• Mステップでは、これらのウェイポイントに到達するゴール条件付きポリシーを学習し、データ品質とポリシーの一般化性能を向上させる。
• ウェイポイントは、理論的に予測される最適ポリシーが訪問する状態に収束する分布からサンプリングされる。
• 変分推論を用いてゴール到達確率の下界を導出し、自動カリキュラム生成を可能にする。
• 既存のゴール条件付きRLアルゴリズムとシームレスに統合可能であり、アーキテクチャの変更を必要としない。
• テスト時の推論は、中間ウェイポイントを経由せず、最終的なゴールを直接使用するため、計画のオーバーヘッドが排除される。

実験結果

リサーチクエスチョン

• RQ1 学習時探索を用いて、長時間スケールタスクにおけるサンプル効率を向上させる中間ゴールのカリキュラムを自動生成できるか？
• RQ2 学習プロセスに探索を統合することで、サンプル効率とデプロイ遅延の点でテスト時計画手法を上回るか？
• RQ3 人為的に設計された距離関数やエキスパートのデモンストレーションなしに、変分推論から自動カリキュラムが出現するか？
• RQ4 トレーニング中にウェイポイントの分布はどのように変化し、最適ポリシーの状態訪問と整合性を示すか？
• RQ5 C-Planning は、従来のゴール条件付きRL手法が学習に失敗するような、複雑で高次元の操作タスクを解けるか？

主な発見

• C-Planning は2次元ナビゲーションおよび18次元ロボット操作タスクで最先端の性能を達成し、従来手法が学習に失敗するタスクを解ける。
• トレーニング曲線の収束速度が速いため、ベースラインのゴール条件付きRLアルゴリズムと比較してサンプル効率が向上していることが示された。
• Push-Wall環境において、4つのウェイポイントではSoRBの1.74倍、16個のウェイポイントでは4.71倍高速であり、デプロイ遅延が低いことが実証された。
• 勾配解析の結果、C-Planning はクライミンの勾配ノルムを増加させ、エクスプロイトの勾配分散を低減しており、より良い学習信号が得られていることが示唆された。
• ウェイポイントのサンプリング分布が、初期は一様分布から出発し、最適ポリシーの状態軌道に徐々に一致するよう進化することが確認され、理論的予測の妥当性が裏付けられた。
• ハイパーパrameter、特にウェイポイント数の選択に対してロバストであり、さまざまな設定でも高い性能を維持した。