[論文レビュー] Hindsight Trust Region Policy Optimization

Han‐Bo Zhang, Site Bai+3 more|arXiv (Cornell University)|Jul 29, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 8

ひとこと要約

Hindsight Trust Region Policy Optimization (HTRPO) は、報酬が疎である強化学習におけるサンプル効率と安定性を向上させるために、TRPO を後向き学習を組み合わせて拡張した手法である。二次近似によるKLダイバージェンス（QKL）と後向きゴールフィルタリング（HGF）を導入することで、Atariゲーム、ロボット制御、ベンチマークタスクにおいて、TRPO や HPG よりも優れた性能と安定性を達成し、成功確率と収束速度に一貫した向上が見られた。

ABSTRACT

Reinforcement Learning(RL) with sparse rewards is a major challenge. We propose \emph{Hindsight Trust Region Policy Optimization}(HTRPO), a new RL algorithm that extends the highly successful TRPO algorithm with \emph{hindsight} to tackle the challenge of sparse rewards. Hindsight refers to the algorithm's ability to learn from information across goals, including ones not intended for the current task. HTRPO leverages two main ideas. It introduces QKL, a quadratic approximation to the KL divergence constraint on the trust region, leading to reduced variance in KL divergence estimation and improved stability in policy update. It also presents Hindsight Goal Filtering(HGF) to select conductive hindsight goals. In experiments, we evaluate HTRPO in various sparse reward tasks, including simple benchmarks, image-based Atari games, and simulated robot control. Ablation studies indicate that QKL and HGF contribute greatly to learning stability and high performance. Comparison results show that in all tasks, HTRPO consistently outperforms both TRPO and HPG, a state-of-the-art algorithm for RL with sparse rewards.

研究の動機と目的

• 初期探索段階での報酬が疎なため、方策収束が困難となる報酬が疎な強化学習の課題に対処すること。
• 信頼領域最適化と後向き経験リプレイを統合することで、方策勾配法におけるサンプル効率と学習安定性を向上させること。
• 特に後向きデータと組み合わせた場合に顕著に現れる、KLダイバージェンス推定の高分散と不安定な方策更新の問題を克服すること。
• 複雑な環境においても、元のタスクゴールに導くために有用な情報をもつ後向きゴールを効果的に選択する手法を開発すること。
• HTRPO が TRPO の理論的収束性を維持しつつ、複雑な環境においても実験的性能と安定性を顕著に向上させることを実証すること。

提案手法

• 過去の軌道から得られた元のゴールと達成ゴールの両方を用いた方策更新を可能にする、TRPO の後向き学習への拡張を導出する。
• 低分散かつ高精度なKLダイバージェンス制約の近似を提供するため、二次KL（QKL）推定を導入し、方策更新の安定化を図る。
• 方策最適化における非政策的更新の分散を低減するために、重み付き重要度サンプリング（WIS）を適用する。
• 元のゴール空間をよりよくカバーする後向きゴールを選択することで、一般化性能と成功確率を向上させる、後向きゴールフィルタリング（HGF）を設計する。
• 直線探索と共役勾配最適化を用いた信頼領域フレームワークにより、単調な方策改善を保証する。
• すべての可能なゴールに対して方策勾配を計算するために、後向き設定におけるゴール条件付き価値関数とアドバンテージ関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 後向き学習をTRPOの信頼領域フレームワークに効果的に統合することで、報酬が疎な強化学習におけるサンプル効率が向上するか？
• RQ2 提案されたQKL推定法は、標準的なKL推定と比較して、KLダイバージェンス推定の分散を低減し、学習安定性を向上させるか？
• RQ3 後向きゴールフィルタリング（HGF）は、より情報をもつ後向きゴールを選択することで、学習性能がどの程度向上するか？
• RQ4 HTRPO は、HTRPO や HPG と比較して、多様な報酬が疎なタスクにおいて、最終的な性能、収束速度、サンプル効率の点で優れているか？
• RQ5 HTRPO は、報酬が疎な環境において、TRPO の理論的収束保証を維持しつつ、実験的性能を顕著に向上させるか？

主な発見

• HTRPO は7つのベンチマークタスクにおいて、TRPO や HPG を一貫して上回り、離散的および連続的制御環境の両方で、より高い最終的成功率とより速い収束速度を達成した。
• HTRPO は、挑戦的な Fetch PickAndPlace タスクにおいて、HPG よりも60%高い成功確率を達成し、優れたサンプル効率と安定性を示した。
• アブレーションスタディの結果、QKL はKL推定の分散を低減し、信頼領域更新の正確性を向上させ、高分散な後向きデータでも安定した学習を可能にした。
• 後向きゴールフィルタリング（HGF）は、Fetch PickAndPlace のような複雑なタスクにおいて顕著な性能向上をもたらし、HGF を適用しないHTRPOと比較して、成功確率が40%以上向上した。
• 重み付き重要度サンプリング（WIS）は、特に複雑な環境において非政策的更新の分散を低減し、FetchPushC では1トレーニングバッチあたりの有効サンプルサイズ（ESS）が平均11.6kに達した。
• HTRPO は、TRPO の理論的収束性を維持しつつ、より優れた実験的性能を達成したため、報酬が疎な環境において安定的で信頼性の高い性能を示した。