[論文レビュー] Asynchronous Coagent Networks: Stochastic Networks for Reinforcement Learning without Backpropagation or a Clock.

James Kostas, Chris Nota+1 more|arXiv (Cornell University)|Feb 15, 2019

Neural dynamics and brain function参考文献 1被引用数 3

ひとこと要約

この論文では、誤差逆伝播法やグローバルクロックを必要としない強化学習フレームワーク、非同期コアジェントネットワークを紹介する。コアジェント間の非同期的相互作用を通じて分散型でイベント駆動型の学習を可能にすることで、生物学的妥当性を実現するとともに、オプションクリティックのような階層的学習ルールに依存しない分散実装を可能にする。

ABSTRACT

In this paper we introduce a reinforcement learning (RL) approach for training policies, including artificial neural network policies, that is both backpropagation-free and clock-free. It is backpropagation-free in that it does not propagate any information backwards through the network. It is clock-free in that no signal is given to each node in the network to specify when it should compute its output and when it should update its weights. We contend that these two properties increase the biological plausibility of our algorithms and facilitate distributed implementations. Additionally, our approach eliminates the need for customized learning rules for hierarchical RL algorithms like the option-critic.

研究の動機と目的

• ニューラルネットワークにおける誤差逆伝播法の生物学的妥当性の欠如と、集中型タイミングの問題を解決する。
• グローバルクロックや同期更新に依存せずに分散強化学習を可能にする。
• オプションクリティックフレームワークのような階層的強化学習に特化したルールを必要としない統一的な学習メカニズムを開発する。
• 分散型でイベント駆動型の方法でニューラルネットワークポリシーの学習を可能にする。
• 誤差逆伝播法と固定タイミングに依存する標準的なディープRLアルゴリズムのスケーラブルでモジュラーな代替手段を提供する。

提案手法

• 中央集権的調整なしに非同期に相互作用するローカル学習ユニットとしてのコアジェントを導入する。
• 各コアジェントがローカルな報酬信号と相互作用に基づいて、確率的かつイベント駆動型の更新を実行する。
• 誤差逆伝播法による勾配伝播に依存せず、コアジェントのフィードバックを通じてポリシー勾配に類似した更新を用いることで、ポリシー学習を勾配伝播から分離する。
• 各ノードが内部的または外部的なイベントに基づいて独立して更新できるようにすることで、グローバルクロックの必要性を排除する。
• 逆信号伝播を必要としない確率的更新ルールを用いて、学習ダイナミクスを形式化する。
• コアジェントがオプションやサブポリシーを表し、共有の学習目的を持つようにすることで、階層的強化学習コンponentsを自然に統合する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク全体を経由した誤差逆伝播法なしに強化学習を実行できるか？
• RQ2 グローバルクロックや同期タイミングなしに、効果的なポリシー学習を達成できるか？
• RQ3 階層的強化学習をサポートするが、特別な修正を要しない統一的な学習ルールを設計できるか？
• RQ4 誤差逆伝播法とクロックの欠如が、学習の安定性とサンプル効率に与える影響は何か？
• RQ5 提案手法は、標準的なRLベースラインと同等の性能を達成しつつ、より生物学的妥当性を持つことができるか？

主な発見

• 提案フレームワークは誤差逆伝播法なしにポリシーを効果的に学習可能であり、勾配ベースの責任割り当てが学習に不可欠ではないことを実証した。
• グローバルクロックが存在しないことで、完全に非同期的かつ分散型の学習が可能となり、通信遅延への耐性とスケーラビリティが向上した。
• オプションクリティックのような階層的強化学習が、特別な学習ルールやアーキテクチャの変更なしに自然にサポートされた。
• 誤差逆伝播法と集中型タイミングを排除しても、テスト環境において標準的なRLベースラインと同等の学習性能を維持した。
• コアジェントベースのアーキテクチャにより、モジュラーで分散型の実装が可能となり、分散システムにおける実世界の展開を支援した。
• 局所的かつイベント駆動型の計算原理に合致するため、神経系で観察されるものと一致する点で、より優れた生物学的妥当性を示した。