[論文レビュー] Q-Learning for Continuous Actions with Cross-Entropy Guided Policies

Riley Simmons-Edler, Ben Eisner+3 more|arXiv (Cornell University)|Mar 25, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 15

ひとこと要約

本稿では、反復的Cross-Entropy Method（CEM）サンプリングと、CEMの行動選択を模倣するように訓練されたニューラルポリシー・ネットワークを組み合わせることで、安定的で効率的な連続的行動Q学習のための方法であるCross-Entropy Guided Policies（CGP）を提案する。CGPは、訓練時の分散が低く、ハイパーパrameterに対するロバスト性が高く、CEMに比べ3–6倍の高速な推論を達成しながらも、推論時の計算コストは低く抑えられている。

ABSTRACT

Off-Policy reinforcement learning (RL) is an important class of methods for many problem domains, such as robotics, where the cost of collecting data is high and on-policy methods are consequently intractable. Standard methods for applying Q-learning to continuous-valued action domains involve iteratively sampling the Q-function to find a good action (e.g. via hill-climbing), or by learning a policy network at the same time as the Q-function (e.g. DDPG). Both approaches make tradeoffs between stability, speed, and accuracy. We propose a novel approach, called Cross-Entropy Guided Policies, or CGP, that draws inspiration from both classes of techniques. CGP aims to combine the stability and performance of iterative sampling policies with the low computational cost of a policy network. Our approach trains the Q-function using iterative sampling with the Cross-Entropy Method (CEM), while training a policy network to imitate CEM's sampling behavior. We demonstrate that our method is more stable to train than state of the art policy network methods, while preserving equivalent inference time compute costs, and achieving competitive total reward on standard benchmarks.

研究の動機と目的

• 連続的制御タスクにおけるオフポリシー深層強化学習の不安定さとハイパーパrameterへの感受性を解消すること。
• Q学習における推論時の計算コストを低減しつつ、特にリアルタイムロボティクス応用を想定した性能を維持すること。
• CEMに基づく行動サンプリングが、ニューラルポリシー・ネットワークの訓練における強力な監督信号として機能するかを検討すること。
• 反復的サンプリングの安定性を維持しながら、ポリシー・ネットワークの推論効率を達成する手法を開発すること。
• CEMガイドドポリシー学習の文脈において、オンライン学習とオフライン学習のポリシー訓練の有効性を評価すること。

提案手法

• CGPは、反復的CEMサンプリングを用いて行動を選択するQ関数を訓練し、同手法のノイズや局所最適解に対するロバスト性を活用する。
• 決定論的ニューラルネットワークポリシーを、Q関数の訓練中にCEMが生成する行動選択を模倣する形で並列に訓練する。
• CEMが生成するデモデータに基づき、行動予測誤差を最小化する損失関数を用いて、ポリシー・ネットワークを教師あり学習で訓練する。
• 本手法はオンラインおよびオフラインのポリシー訓練をサポートする：オンライン更新はQ関数の更新と同期して行われ、オフライン学習はQ関数の収束後に実施される。
• 推論では、訓練済みのポリシー・ネットワークのみを用い、反復的サンプリングを回避することで、一定かつ低遅延の推論時間を達成する。
• 本アプローチは標準的なディープQ学習フレームワークと互換性があり、DDPG、TD3、SACなどの既存アルゴリズムと組み合わせて利用可能である。

実験結果

リサーチクエスチョン

• RQ1 CEMに基づく行動サンプリングは、連続的行動Q学習におけるニューラルポリシー・ネットワークの訓練に、安定的かつ効果的な監督信号として機能するか？
• RQ2 CEMサンプリングと学習済みポリシーの組み合わせは、エンドツーエンドのポリシー勾配法と比較して、訓練の安定性とハイパーパrameterのロバスト性を向上させるか？
• RQ3 学習済みポリシーの推論時の効率は、推論時に直接CEMを使用するのと比較してどうか？
• RQ4 CGPの文脈において、オンラインポリシー学習はオフラインポリシー学習に比べて優位性を示すか？
• RQ5 CGPは、SAC や TD3 などの最先端手法と同等の性能を達成しつつ、ランダムシードやハイパーパramータ設定の変更に対しても分散が低いか？

主な発見

• CGPは、HalfCheetah-v2 や Walker2d-v2 といった標準的な連続的制御ベンチマークで、SAC や TD3 と同等の性能を達成している。
• CGPは、DDPG や TD3 と比較して、ランダムシードやハイパーパラメータの組み合わせにおける訓練の分散が顕著に低く、安定性の向上が示された。
• CGPの推論時間は、CEMベースの推論に比べ3–6倍高速であり、HalfCheetah-v2 では1エピソードあたり約2.35秒の一定した実行時間（CEMの反復回数に依存しない）を達成している。
• CGPは、総報酬と推論速度の両面で、元のCEMポリシーを上回っており、模倣学習が性能と効率の両方を向上させることを示している。
• CGPにおけるオンラインポリシー学習は、オフライン学習に比べわずかに高い性能を示しており、非定常なQ関数からの学習が暗黙の正則化効果をもたらしている可能性を示唆している。
• QGPベースラインと比較して、CEMポリシーは直接Q関数最適化よりも効果的な監督信号であることが判明した。後者は、より高い不安定性とハイパーパラメータ感受性を示した。