[論文レビュー] Mean Actor Critic

Cameron Allen, Kavosh Asadi+4 more|arXiv (Cornell University)|Sep 1, 2017

Reinforcement Learning in Robotics参考文献 24被引用数 16

ひとこと要約

Mean Actor-Critic (MAC) は、実行された行動だけでなく、すべての行動価値の明示的表現を用いることで勾配の分散を低減する、離散的行動・連続的状態強化学習のための方策勾配アルゴリズムである。実験的結果により、MAC は制御領域およびアーケードゲームで最先端の性能を達成することが示された。

ABSTRACT

We propose a new algorithm, Mean Actor-Critic (MAC), for discrete-action continuous-state reinforcement learning. MAC is a policy gradient algorithm that uses the agent's explicit representation of all action values to estimate the gradient of the policy, rather than using only the actions that were actually executed. We prove that this approach reduces variance in the policy gradient estimate relative to traditional actor-critic methods. We show empirical results on two control domains and on six Atari games, where MAC is competitive with state-of-the-art policy search algorithms.

研究の動機と目的

• 従来のアクタ・クリティック手法に共通する方策勾配推定の高分散を是正すること。
• 離散的行動・連続的状態強化学習環境におけるサンプル効率を向上させること。
• 実行された行動に依存するのではなく、すべての行動価値の表現を用いて方策の更新を指示する手法を開発すること。
• 困難な制御およびアーケードベンチマークで最先端の方策探索アルゴリズムと同等の性能を達成すること。

提案手法

• 実行された行動だけでなく、すべての行動価値の明示的表現を組み込んだ、新しい方策勾配推定器を提案する。
• クリティックネットワークを用いて、行動空間に属するすべての行動の Q 値推定値を維持・更新する。
• すべての行動における行動価値予測の平均を用いて方策勾配を計算し、標準的なアクタ・クリティック手法と比較して分散を低減する。
• より低い分散を持つ勾配推定値を用いて方策ネットワークを訓練することで、学習の安定性とサンプル効率を向上させる。
• 平均行動価値推定値を方策更新ルールに統合し、より正確で安定した方策最適化を可能にする。
• 方策と価値推定のための別々のネットワークを維持し、価値ネットワークが勾配計算のための全行動価値の監視を提供する。

実験結果

リサーチクエスチョン

• RQ1 方策勾配推定においてすべての行動価値を用いることで、標準的なアクタ・クリティック手法と比較して分散を低減できるか？
• RQ2 提案手法は、離散的行動・連続的状態環境におけるサンプル効率と学習安定性を向上させるか？
• RQ3 制御およびアーケードベンチマークにおける最終性能について、MAC は最先端の方策探索アルゴリズムと比較してどうなるか？
• RQ4 平均行動価値表現は、複雑な制御タスクにおける収束速度の向上と一般化性能の向上に寄与するか？

主な発見

• MAC は、すべての行動価値を明示的にモデル化することで勾配の分散を低減し、より安定した方策更新を実現した。
• 本手法は2つの連続的状態制御ドメインで競争力のある性能を達成し、ベースラインアルゴリズムと同等またはそれを上回った。
• 6つのアーケードゲームにおいて、MAC は最先端の方策探索アルゴリズムと同等の性能を示した。
• 全行動価値表現の使用により、困難な環境における学習安定性とサンプル効率が向上した。