[論文レビュー] Hindsight Expectation Maximization for Goal-conditioned Reinforcement Learning

Yunhao Tang, Alp Kucukelbir|arXiv (Cornell University)|Jun 13, 2020

Reinforcement Learning in Robotics参考文献 57被引用数 7

ひとこと要約

本稿では、目標条件付き強化学習を変分推論問題として定式化することで、教師あり学習の更新を用いた安定した方策最適化を可能にする確率的強化学習フレームワーク、後向き期待最大化（hEM）を提案する。後向き経験再生を重要度サンプリングとして解釈することにより、hEMはベースライン手法を著しく上回り、特に高次元の画像入力において優れたサンプル効率と安定性を示す。

ABSTRACT

We propose a graphical model framework for goal-conditioned RL, with an EM algorithm that operates on the lower bound of the RL objective. The E-step provides a natural interpretation of how 'learning in hindsight' techniques, such as HER, to handle extremely sparse goal-conditioned rewards. The M-step reduces policy optimization to supervised learning updates, which greatly stabilizes end-to-end training on high-dimensional inputs such as images. We show that the combined algorithm, hEM significantly outperforms model-free baselines on a wide range of goal-conditioned benchmarks with sparse rewards.

研究の動機と目的

• 報酬がスパースな二値報酬である環境において、従来の方法が信用割り当ての欠如により失敗するため、目標条件付き強化学習エージェントの学習という課題に対処する。
• 高次元入力（例：画像）における時系列差分学習の不安定性を解消するため、方策最適化を教師あり学習に再定式化する。
• 後向き経験再生を確率的グラフィカルモデルフレームワーク内での重要度サンプリングの特殊ケースとして形式化する。
• 多様なタスクや入力モodal（画像ベースの観測を含む）に一般化可能な、安定的でエンドツーエンドの訓練手順を構築する。

提案手法

• 確率的モデルの証拠を最大化する目標として、目標条件付き強化学習の目的関数を定式化し、最適化に適した下界（ELBO）を導出する。
• Eステップで、後向き目標を用いて軌道を再重み付けすることで、失敗した軌道を代替目標に対する成功例として扱う。これは、希少事象における重要度サンプリングと同等である。
• Mステップでは、再重み付けされた軌道上で教師あり学習の更新を用いて方策最適化を実行し、高次元入力（例：画像）における訓練の安定性を向上させる。
• hEMとHERを組み合わせたハイブリッドアルゴリズムを導入し、TDベースのQ学習とhEMの教師あり方策更新を重み付け損失で融合することで、サンプル効率を向上させる。
• 真の事後分布を近似するために変分事後分布 $ q_{\phi}(z \mid x) $ を導入し、証拠下限（ELBO）の微分可能な最適化を可能にする。
• 方策を用いて軌道を収集し、その後、後向き再ラベル付けを適用して多様な目標条件付き経験を生成し、Mステップで教師あり学習により方策を訓練する。

実験結果

リサーチクエスチョン

• RQ1 後向き経験再生は、確率的推論の文脈において重要度サンプリングの観点から形式的に解釈可能か？
• RQ2 スパース報酬環境における目標条件付き強化学習において、高次元観測空間（例：画像）における方策最適化の安定性は、どのように向上できるか？
• RQ3 目標条件付き強化学習を変分推論問題として定式化することで、標準的なオフポリシー強化学習手法に比べて、より優れたサンプル効率と収束性が得られるか？
• RQ4 EMフレームワークは、HERと教師あり学習の長所を統合し、複雑なロボットタスクにおける性能向上に寄与できるか？

主な発見

• hEMは、すべてのベンチマークタスクにおいてHERを一貫して上回り、特にHERのTDベース更新が高次元観測により劣化する画像ベース入力において顕著な向上を示す。
• 画像ベースの目標を用いたFetchロボットおよびSawyerロボットのタスクにおいて、hEMは状態ベースの目標表現と同等の性能を達成し、入力モダリティに対して頑健であることを示した。
• 重みパラメータ $ \eta = 0.1 $ を用いたハイブリッドhEM-HERアルゴリズムは、特に複雑な目標空間を有する挑戦的なFetchタスクにおいて、HER単体に比べて学習速度のわずかな向上を達成した。
• より大きな軌道収集サイズ $ N $ は、より良い性能をもたらすことが確認され、目標空間の十分なカバーが安定学習に不可欠であることが示された。
• hEMの教師あり学習に基づくMステップは、特に生のピクセルをエンドツーエンドで学習する際、HERのTD学習更新に比べて著しく安定した訓練を実現した。
• 本手法は、目標条件付き強化学習ベンチマークのスイートにおいて最先端の性能を達成し、特に高次元入力とスパース報酬環境において顕著な優位性を示した。