[論文レビュー] Reinforcement Learning Without Backpropagation or a Clock

James Kostas, Chris Nota+1 more|arXiv (Cornell University)|Feb 15, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 2

ひとこと要約

本稿では、共エージェントネットワークと呼ばれる確率的ニューラルネットワークを学習するための共エージェント方策勾配アルゴリズム（CPGA）を導入し、局所最適方策への収束を証明する。理論を非同期および再帰的設定に拡張することで、バックプロパゲーションやグローバルクロックを必要とせず、オプション・クリティックのような階層的強化学習の設計と解析を単純化できる。

ABSTRACT

Coagent policy gradient algorithms (CPGAs) are reinforcement learning algorithms for training a class of stochastic neural networks called coagent networks. In this work, we prove that CPGAs converge to locally optimal policies. Additionally, we extend prior theory to encompass asynchronous and recurrent coagent networks. These extensions facilitate the straightforward design and analysis of hierarchical reinforcement learning algorithms like the option-critic, and eliminate the need for complex derivations of customized learning rules for these algorithms.

研究の動機と目的

• 確率的ニューラルネットワークに対する共エージェント方策勾配アルゴリズム（CPGA）の理論的収束を確立すること。
• 既存の理論枠組みを非同期および再帰的共エージェントネットワークをサポートするように拡張すること。
• オプション・クリティックのような階層的強化学習アルゴリズムの設計と解析を単純化すること。
• 共エージェントネットワークの学習において、バックプロパゲーションおよびグローバル同期（クロック）の必要性を排除すること。

提案手法

• 方策勾配強化学習に適した確率的ニューラルネットワークの一種として共エージェントネットワークを形式化すること。
• 尤度比法を用いてバックプロパゲーションを回避する共エージェントネットワークの方策勾配更新を導出すること。
• 同期タイミングを要しない共エージェント相互作用のモデル化により、非同期更新をサポートする理論枠組みを導入すること。
• 方策勾配導出に時間的依存性を組み込むことで、再帰的共エージェントネットワークへの枠組みの拡張を実施すること。
• 共エージェントアーキテクチャを用いることで、オプション・クリティックフレームワークにおけるような階層的意思決定を自然にサポートすること。
• やや緩い正則性条件のもとで、非同期および再帰的設定においてもCPGAが局所最適方策に収束することを証明すること。

実験結果

リサーチクエスチョン

• RQ1 確率的ニューラルネットワークにおける共エージェント方策勾配アルゴリズムは、局所最適方策への収束を証明できるか？
• RQ2 CPGAの理論的基盤を非同期共エージェントネットワークをサポートするようにどのように拡張できるか？
• RQ3 理論を再帰的共エージェントネットワークにさらに拡張し、逐次的意思決定をサポートできるか？
• RQ4 オプション・クリティックや類似の階層的強化学習アルゴリズムは、共エージェントフレームワークを用いることでどの程度単純化できるか？
• RQ5 共エージェントネットワークの学習において、バックプロパゲーションとグローバルクロックの両方の必要性を排除しつつ収束を維持することは可能か？

主な発見

• 共エージェント方策勾配アルゴリズム（CPGA）は、標準的な正則性条件のもとで局所最適方策に収束する。
• 理論枠組みは非同期共エージェントネットワークにうまく拡張され、グローバル同期なしでの学習が可能である。
• 枠組みは再帰的共エージェントネットワークをサポートし、逐次的かつ時間的依存性のある行動のモデル化を可能にする。
• 拡張により、オプション・クリティックのような階層的強化学習の学習ルールが自然かつ原理的（一貫性のある）に導出可能となり、カスタム導出を不要にする。
• バックプロパゲーションとグローバルクロックの両方の必要性が排除され、実装が単純化され、適用範囲が広がる。
• 理論的結果により、共エージェントベースの強化学習アルゴリズムの分析と設計のための統一的基盤が提供される。