[論文レビュー] Actor-Expert: A Framework for using Q-learning in Continuous Action Spaces

Sungsu Lim|arXiv (Cornell University)|Jan 1, 2019

Model Reduction and Neural Networks参考文献 54被引用数 13

ひとこと要約

この論文では、アクション価値の更新に近似Q学習を用いるエキスパートと、条件付き交差エントロピー法（CCEM）を用いて逐次的に最適アクションを学習するアクトゥアルを用いることで、Q学習と方策最適化を分離するフレームワークであるActor-Expertを提案する。本手法は、制限のない関数近似を許容する連続的アクション空間において、正確で効率的なQ学習を可能にし、先行するQ学習手法を上回り、アクタ・クリティックベースラインと同等の性能を示す。

ABSTRACT

Q-learning can be difficult to use in continuous action spaces, because a difficult optimization has to be solved to find the maximal action. Some common strategies have been to discretize the action space, solve the maximization with a powerful optimizer at each step, restrict the functional form of the action-values, or optimize a different entropy-regularized objective to learn a policy proportional to action-values. Such methods however, can prevent learning accurate action-values, be expensive to execute at each step, or find a potentially suboptimal policy. In this thesis, we propose a new policy search objective that facilitates using Q-learning and a new framework called Actor-Expert, that optimizes this objective. The Expert uses approximate Q-learning to update the action-values towards optimal action-values. The Actor iteratively learns the maximal actions over time for these changing action-values. We develop a Conditional Cross Entropy Method (CCEM) for the Actor, where such a global optimization approach facilitates use of generically parameterized action-values (Expert) with a separate policy (Actor). This method iteratively concentrates density around maximal actions, conditioned on state. We demonstrate in a toy environment that Actor-Expert with unrestricted action-value parameterization and efficient exploration mechanism succeeds while previous Q-learning methods fail. We also demonstrate that Actor-Expert performs as well as or better than previous Q-learning methods on benchmark continuous-action environments. We also show that it is comparable against Actor-Critic baselines, suggesting a new distinction among methods that learn both value function and policy: learning action-values of the current policy or (optimal) action-values decoupled from the policy.

研究の動機と目的

• 行動の最大化が計算的に非効率的となる連続的アクション空間へのQ学習の適用という課題に対処すること。
• 行動空間の離散化、1ステップごとの高コストな最適化、エントロピー正則化による部分的最適な方策といった先行手法の制限を克服すること。
• 行動価値のパラメータ化に制限のないフレームワークを構築し、効率的な方策学習を維持すること。
• 方策に依存せずに最適行動価値を正確に学習可能にすることで、サンプル効率と方策品質を向上させること。
• 価値学習と方策学習の分離が、Q学習におけるパフォーマンスを向上させ、アクタ・クリティック手法と同等の性能を達成できることを示すこと。

提案手法

• エキスパート部は、一般にパrameter化された関数近似を用いて、近似Q学習により逐次的に行動価値を最適値に近づける。
• アクトゥアル部は、現在の行動価値を最大化する行動を中心に確率分布を集約することで、状態から行動への方策を学習する。
• アクトゥアルは、現在の状態を条件として最適化を行う条件付き交差エントロピー法（CCEM）を採用し、反復的に方策分布を改善する。
• CCEMにより、勾配計算を必要とせず、連続的アクション上でグローバル最適化が可能となり、任意の行動価値関数形態に適用可能である。
• 本フレームワークは、アクトゥアルの方策に依存せずに価値関数の学習を独立して行えるように、方策学習と価値関数学習を分離する。
• 反復的な方策分布の改善により、勾配ベースの最適化や固定された関数形態に依存せずに、効率的な探索が可能である。

実験結果

リサーチクエスチョン

• RQ1 離散化や1ステップごとの高コストな最適化を伴わずに、連続的アクション空間へのQ学習を効果的に適用できるか？
• RQ2 価値関数学習と方策学習を分離することで、標準的なQ学習手法と比較してサンプル効率と方策パフォーマンスが向上するか？
• RQ3 CCEMを介して学習された方策ネットワークは、勾配ベースの手法に依存せずに、変化する行動価値に対して最適なアクションを効果的に発見できるか？
• RQ4 連続的制御ベンチマークにおいて、Actor-Expertのパフォーマンスは、確立されたQ学習およびアクタ・クリティックベースラインと比較してどうなるか？
• RQ5 行動価値に制限のない関数近似を用いることで、連続的制御タスクにおける学習精度と方策品質が向上するか？

主な発見

• 従来のQ学習手法が失敗するようなトロイ環境でも、Actor-Expertは正常に学習を実行し、困難な設定下でも頑健性を示す。
• 標準的な連続的アクション制御ベンチマークにおいて、本フレームワークは先行するQ学習手法と同等またはそれ以上の性能を達成する。
• Actor-Expertはアクタ・クリティックベースラインと同等の性能を示し、価値学習と方策学習の分離が強力な結果をもたらす可能性を示している。
• CCEMの使用により、勾配計算や制限のある方策パラメータ化を必要とせず、連続的アクション上で効率的かつ安定した最適化が可能である。
• 本手法は、行動価値の制限のないパラメータ化をサポートしており、固定関数形態を用いる手法と比較して、より正確な価値関数近似が可能である。
• 分離されたアーキテクチャにより、安定した訓練と効果的な探索が可能となり、勾配信号に依存せずに、高報酬行動を中心に方策が集中する。