[論文レビュー] Goal-Conditioned Reinforcement Learning: Problems and Solutions

Minghuan Liu, Menghui Zhu+1 more|arXiv (Cornell University)|Jan 20, 2022

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

本サーベイは、ゴール表現、リラベルリング技術、ポリシー最適化を通じて、スパarsな報酬とサンプル効率の問題に取り組む、ゴール条件付き強化学習（GCRL）の包括的分析を提供する。ヒンダヒュースエクスペリエンスリプレイ（HER）、生成モデルを用いたゴールリラベルリング、フォアシートベースのリラベルリングといった主要なソリューションを導入し、多様なゴールに対して一般化可能なポリシーを、より高いサンプル効率と一般化性能で学習可能にする。

ABSTRACT

Goal-conditioned reinforcement learning (GCRL), related to a set of complex RL problems, trains an agent to achieve different goals under particular scenarios. Compared to the standard RL solutions that learn a policy solely depending on the states or observations, GCRL additionally requires the agent to make decisions according to different goals. In this survey, we provide a comprehensive overview of the challenges and algorithms for GCRL. Firstly, we answer what the basic problems are studied in this field. Then, we explain how goals are represented and present how existing solutions are designed from different points of view. Finally, we make the conclusion and discuss potential future prospects that recent researches focus on.

研究の動機と目的

• ゴール条件付き強化学習（GCRL）のコアな課題、特にマルチゴール学習におけるスパarsな報酬とサンプル非効率性を体系的に分析すること。
• タスク仕様に基づいて、状態空間のゴール、言語、報酬、コマンド、および内部スキルといった異なるゴール表現手法を分類・比較すること。
• 学習フェーズごとに分類されたGCRLの既存ソリューションを調査・分類すること：最適化、部分ゴール生成、ゴールリラベルリング。
• インセンティブスキル学習、オフラインRL、大規模事前学習済み意思決定モデルといった、今後の研究分野を特定・議論すること。これらは、タスク間での一般化を可能にする。
• 再現可能性と今後のGCRL分野の研究を支援するため、アルゴリズムとベンチマーク環境のキュレート済みコレクションを提供すること。

提案手法

• 標準的なMDPを拡張し、ゴール空間𝒢とゴールマッピングϕ: 𝒮 → 𝒢を導入することで、ゴール補助MDP（GA-MDP）としてGCRLを形式化し、ゴール条件付き意思決定を可能にする。
• ヒンダヒュースエクスペリエンスリプレイ（HER）をコア技術として導入：示された軌道における達成ゴールを再ラベルすることで、追加の学習信号を生成し、サンプル効率を向上させる。
• 条件付き生成RNNを用いた学習ベースのリラベルリング戦略を提案：歴史的データ分布を超える多様で高い報酬を得るゴールを生成可能にし、ポリシーの一般化性能を向上させる。
• 学習済みダイナミクスモデルを用いたフォアシートベースのリラベルリングを導入：仮想軌道を生成し、計画によって新たな達成可能なゴールを生成することで、リラベルリングにおける分布バイアスを低減する。
• 推論時にゴール間で一般化を可能にするために、ゴール補助価値関数およびポリシー関数（例：Q(s,a,g) や π(s,g)）を採用する。
• ソリューションを3フェーズに分類：最適化（ポリシー／価値関数設計）、部分ゴール生成（カリキュラム学習）、リラベルリング（データ効率の向上）。

実験結果

リサーチクエスチョン

• RQ1 1つのポリシー内で複数のゴールの学習を可能にするために、ゴール条件付きRLをどのように形式化できるか？
• RQ2 特にスパarsな報酬、サンプル効率、多様なゴールへの一般化という点で、GCRLにおける主な課題は何か？
• RQ3 状態空間のゴール、言語、または内部報酬といった異なるゴール表現は、学習性能と一般化にどのように影響を与えるか？
• RQ4 GCRLにおけるデータ効率を向上させるために、最も効果的なリラベルリング戦略は何か？実際の応用においてそれらはどのように比較できるか？
• RQ5 オフライン学習や事前学習済み意思決定モデルといった、スケーラブルで一般化可能なGCRLシステムに最も有望な今後の方向性は何か？

主な発見

• ヒンダヒュースエクスペリエンスリプレイ（HER）は、軌道における達成ゴールを再ラベルすることで、サンプル効率を顕著に向上させ、失敗したエピソードを有用な学習データに変換する。
• 条件付き生成RNNを用いた学習ベースのゴールリラベルリングにより、歴史的データ分布を超える多様で高い報酬を得るゴールを生成可能となり、ポリシーの一般化性能が向上する。
• ダイナミクスモデルを用いたフォアシートベースのリラベルリングは、仮想軌道と新たな達成可能なゴールを生成し、静的リラベルリングに比べてバイアスを低減し、より高いロバスト性を実現する。
• これらの技術で訓練されたゴール条件付きポリシーは、未学習のゴールに対しても一般化でき、スパars報酬環境でも高い成功確率を達成する。
• GCRLとオフラインRLを統合することで、静的データセットからの学習が可能となり、オンライン相互作用コストが低減され、実世界応用への展開が可能になる。
• インセンティブスキル学習や大規模事前学習済み意思決定モデルといった今後の展望は、エージェントが自律的かつ多様なタスクを発見・習得可能にする強力な可能性を秘めている。