[論文レビュー] Reinforcement Learning applied to Single Neuron

Zhipeng Wang, Ming Bo Cai|arXiv (Cornell University)|May 15, 2015

Reinforcement Learning in Robotics参考文献 5被引用数 4

ひとこと要約

この論文は、各ニューロンを独立したエージェントとしてモデル化し、ギブスサンプリングとポリシーグラデント法を用いてシナプス結合荷重を最適化することで、多エージェントシステムに強化学習を適用する。このアルゴリズムは一致検出のための5ニューロンネットワークでは正常に収束するが、高次元の報酬ランドスケープのため、より大きな50ニューロンの運動制御系では収束に失敗する。

ABSTRACT

This paper extends the reinforcement learning ideas into the multi-agents system, which is far more complicated than the previously studied single-agent system. We studied two different multi-agents systems. One is the fully-connected neural network consists of multiple single neurons. Another one is the simplified mechanical arm system which is controlled by multiple neurons. We suppose that each neuron is like an agent and it can do Gibbs sampling of the posterior probability of stimulus features. The policy is optimized in a way that the cumulative global rewards are maximized. The algorithm for the second system is based on the same idea but we incorporate the physics model into the constraints. The simulation results show that for the first system our algorithm converges well. For the second system it does not converge well in a reasonable simulation time length. In summary, we took the initial endeavor to study the reinforcement learning for multi-agents system. The computational complexity is always an issue and significant amount of works have to be done in order to better understand the problem.

研究の動機と目的

• ニューロンを独立したエージェントとしてモデル化することで、単エージェントから多エージェントシステムへの強化学習の拡張を目的とする。
• ポリシーグラデント法を用いて再帰的ニューラルネットワーク内のシナプス結合荷重を最適化する学習アルゴリズムを開発すること。
• フレームワークを完全接続ネットワークおよび簡略化された機械アーム制御系の両方でテストすること。
• 高次元のニューラルポリシースペースにおける計算的課題と収束特性を調査すること。

提案手法

• 各ニューロンは、自己相関を持つガウス過程としてモデル化されたシナプス結合荷重分布に対してギブスサンプリングを実行するエージェントとして機能する。
• 割引累積報酬を用いた勾配上昇ルールに基づき、式 (3) を用いて推定される。
• グローバル報酬は、ターゲットニューロン間のスパike数の相関またはドット積として定義され、望ましい活動パターンを促進する。
• 報酬は時間経過における重み付き平均として扱われ、学習率βが結合荷重分布の平均を調整する。
• アルゴリズムは、ニューロンの順次的または同時的サンプリングと更新を可能とし、収束速度と報酬帰属の正確さのバランスを取る。
• 機械アームタスクでは、物理モデルが運動を制約し、報酬関数は意図した角度と観測されたアーム角度の相関を測定する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、各ニューロンが独立したエージェントとして機能するニューロンネットワークに効果的に適用可能か？
• RQ2 シナプス結合荷重のギブスサンプリングを伴う提案されたポリシーグラデント法は、再帰的ニューラルネットワークにおけるグローバル報酬最適化にどの程度有効か？
• RQ3 運動制御ネットワークのようなより大きな、複雑なニューラルシステムでは、このアルゴリズムの収束特性はいかなるものか？
• RQ4 単純なネットワークでは成功しているにもかかわらず、なぜ機械アーム制御タスクではアルゴリズムが収束しないのか？

主な発見

• 5ニューロンネットワークではアルゴリズムが正常に収束し、ニューロン2がニューロン1からの強い入力結合荷重を獲得してスパike数の相関を高めた。
• 他のニューロンは、スパikeが報酬関数で罰則と見なされるため、活動を最小限に抑えるために入力結合荷重を著しく減少させた。
• 50ニューロンの運動制御システムでは、期待報酬は時間経過とともに増加したが、合理的なシミュレーション時間内に収束しなかった。
• 機械アームタスクでの失敗は、報酬ランドスケープの高次元性に起因すると想定され、最適化が困難であると考えられる。
• 著者らは、報酬関数を部分的要因に分解することで、ニューロン間の競合を軽減し、収束性を向上させられると提言している。
• この手法はネットワークトポロジーに関する事前仮定を必要とせず、初期化段階から完全接続ネットワークへも適用可能である。