[論文レビュー] C-Learning: Learning to Achieve Goals via Recursive Classification

Benjamin Eysenbach, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|May 3, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 9

ひとこと要約

C-Learningは、将来の状態分布の予測を再帰的分類として定式化する、新しいゴール条件付き強化学習手法を提案する。ベイズの定理を用いて分類器の出力を将来の状態上の密度推定に変換することで、ポリシーの将来状態分布のオフポリシー予測とゴール到達密度の最適化を可能にし、従来手法と同等の性能を達成するとともに、ゴール条件付きRLのための整合的な理論的基盤を提供する。

ABSTRACT

We study the problem of predicting and controlling the future state distribution of an autonomous agent. This problem, which can be viewed as a reframing of goal-conditioned reinforcement learning (RL), is centered around learning a conditional probability density function over future states. Instead of directly estimating this density function, we indirectly estimate this density function by training a classifier to predict whether an observation comes from the future. Via Bayes' rule, predictions from our classifier can be transformed into predictions over future states. Importantly, an off-policy variant of our algorithm allows us to predict the future state distribution of a new policy, without collecting new experience. This variant allows us to optimize functionals of a policy's future state distribution, such as the density of reaching a particular goal state. While conceptually similar to Q-learning, our work lays a principled foundation for goal-conditioned RL as density estimation, providing justification for goal-conditioned methods used in prior work. This foundation makes hypotheses about Q-learning, including the optimal goal-sampling ratio, which we confirm experimentally. Moreover, our proposed method is competitive with prior goal-conditioned RL methods.

研究の動機と目的

• 自律的エージェントのゴール条件付き強化学習における将来状態分布の予測と制御の課題に取り組む。
• 分類を用いた密度推定に再定式化することで、ゴール条件付きRLに整合的な理論的基盤を提供する。
• 新たな経験収集を必要とせずに、ポリシーの将来状態分布のオフポリシー予測を可能にする。
• 特定のゴール状態に到達する確率などの将来状態分布の関数を最適化する。
• 従来のゴール条件付き手法におけるハイパーパrameter、例えば最適なゴールサンプリング比の正当化と分析を行う。

提案手法

• 与えられた観測がポリシーの将来状態分布に属するかどうかを予測する二値分類器を訓練する。
• ベイズの定理を用いて、分類器の出力を将来状態上の密度推定に変換し、確率的予測を可能にする。
• オフポリシーの変種を採用することで、オフラインデータを用いて新しいポリシーの将来状態分布を予測可能にする。
• 分類器を再帰的に訓練し、リプレイバッファまたはロールアウトから将来状態をサンプリングすることで、反復的な改善を実現する。
• 将来状態分布の関数、例えば特定のゴール状態に到達する尤度を最適化する。
• Q学習との関連を活用して、最適なゴールサンプリング戦略に関する仮説を導出し、実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ゴール条件付きRLにおける将来状態分布は、直接的な密度推定の代わりに再帰的分類によって効果的にモデル化可能か？
• RQ2 提案されたオフポリシー変種は、追加のロールアウトを必要とせずに、ポリシーの将来状態分布を正確に予測可能か？
• RQ3 分類器ベースのアプローチは、既存のゴール条件付きRL手法に整合的な理論的基盤を提供可能か？
• RQ4 ゴール条件付きRLにおける最適なゴールサンプリング比は何か？また、C-Learningフレームワークからの理論的予測と一致するか？
• RQ5 C-Learningの性能は、サンプル効率性とゴール到達精度の観点で、従来のゴール条件付きRL手法と比較してどうか？

主な発見

• C-Learningは、ベンチマーク環境における強力な実験的結果を示し、従来のゴール条件付きRL手法と同等の性能を達成する。
• オフポリシー変種は、新たな経験収集を必要とせずに、新しいポリシーの将来状態分布を正確に予測できた。
• 分類とベイズの定理を用いた密度推定に再定式化することで、ゴール条件付きRLに整合的な理論的基盤を提供する。
• 分類器フレームワークに基づく理論的分析により、最適なゴールサンプリング比の正当化がなされ、実験的に確認された。
• ベイズの定理を用いて変換された分類器の予測は、将来状態上の正確な密度推定をもたらし、効果的なゴール条件付き制御を可能にする。
• 本手法は、特定のゴール状態に到達する確率などの関数を最適化可能であり、より洗練されたポリシー目的を支援する。