[論文レビュー] Reinforcement Learning in a Neurally Controlled Robot Using Dopamine Modulated STDP

Richard Evans|arXiv (Cornell University)|Feb 21, 2015

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文では、連続的環境における強化学習タスクを解消するため、ドーパミン修飾型スパイクタイム依存可塑性（DA-STDP）を用いたスパイキングニューラルネットワーク（SNN）コントローラーを提案する。主な報酬（例：食物）から予測可能な二次的刺激（例：食物容器）へのドーパミン反応の移行により、ロボットは複雑な行動の連鎖を学習し、長時間の時間的遅延がある中でも95％の試行で食物容器への誘引を達成する。これは、動的かつ現実世界に類似した状況下でも、信頼性の高いクレジット割り当てが可能であることを示している。

ABSTRACT

Recent work has shown that dopamine-modulated STDP can solve many of the issues associated with reinforcement learning, such as the distal reward problem. Spiking neural networks provide a useful technique in implementing reinforcement learning in an embodied context as they can deal with continuous parameter spaces and as such are better at generalizing the correct behaviour to perform in a given context. In this project we implement a version of DA-modulated STDP in an embodied robot on a food foraging task. Through simulated dopaminergic neurons we show how the robot is able to learn a sequence of behaviours in order to achieve a food reward. In tests the robot was able to learn food-attraction behaviour, and subsequently unlearn this behaviour when the environment changed, in all 50 trials. Moreover we show that the robot is able to operate in an environment whereby the optimal behaviour changes rapidly and so the agent must constantly relearn. In a more complex environment, consisting of food-containers, the robot was able to learn food-container attraction in 95% of trials, despite the large temporal distance between the correct behaviour and the reward. This is achieved by shifting the dopamine response from the primary stimulus (food) to the secondary stimulus (food-container). Our work provides insights into the reasons behind some observed biological phenomena, such as the bursting behaviour observed in dopaminergic neurons. As well as demonstrating how spiking neural network controlled robots are able to solve a range of reinforcement learning tasks.

研究の動機と目的

• スパイキングニューラルネットワークを用いた生物学的に妥当な強化学習システムをロボット制御に実装すること。
• 主な報酬から二次的予測刺激へのドーパミン反応の移行により、強化学習における遠隔報酬問題を解決すること。
• 従来のRL手法が困難な連続的パラメータ空間における順序行動の学習を示すこと。
• ドーパミン神経細胞のダイナミクス（例：バースト発火対比ベースライン発火）が、安定な学習と再学習をどのように支援するかを調査すること。
• 環境の変化に伴い、古くなった行動を解体し、急速に変化する環境に適応する能力を評価すること。

提案手法

• 生物学的妥当性と計算効率を両立させるために、Izhikevichニューロンモデルを用いたスパイキングニューラルネットワーク（SNN）をロボット制御に採用する。
• 報酬予測誤差を反映するパーソナルドーパミン信号と、事前シナプススパイクタイミングを結合することで、ドーパミン修飾型STDPを実装する。
• 2段階のドーパミン反応をモデル化する：ベースライン（トニック）発火とバースト（パーソナル）活動。バーストは報酬予測誤差を示す。
• 脳内で観察される神経振動を模倣するため、センサー入力を14 Hzの振動的発火で符号化することで、時間的符号化を強化する。
• センサー群とモーター群間の側方抑制を用いて、ウィナー・トゥクーズ・オール（WTA）メカニズムを実装し、明確な行動選択を保証する。
• 探索行動は明示的なモーター刺激によって誘発されるが、今後の研究では、パーソナル活動と抑制をSNN内に統合することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 SNNにおけるDA修飾型STDPは、遅延報酬に至る行動の連鎖をロボットが学習可能か？
• RQ2 主な刺激（食物）から二次的予測刺激（食物容器）へのドーパミン反応をどのようにシフトすれば、遠隔報酬問題を解決できるか？
• RQ3 環境条件が変化した際に、ロボットは以前に習得した行動を解体できるか？
• RQ4 異なるドーパミン活動モード（ベースライン対バースト）は、安定な学習と可塑性にどのように寄与するか？
• RQ5 SNNベースの制御は、離散状態のRLアルゴリズムに比べて、連続的かつ現実世界に類似した環境で一般化性能を向上させられるか？

主な発見

• ロボットは全50試行において食物誘引行動を正常に学習し、環境が変化した際にもそれを解体することができ、適応的再学習を示した。
• 食物容器を含む複雑な環境において、行動と報酬の間の時間的遅延が大きくても、95％の試行で食物容器への誘引を達成した。
• ドーパミン反応が主な刺激（食物）から二次的刺激（食物容器）へと的確にシフトし、長時間にわたるクレジット割り当てが可能になった。
• 最適行動が急速に変化する動的環境において、最適な行動を継続的に再学習可能な強靭性を示した。
• トニックおよびパーソナルのドーパミン活動モードを別々に用いることで、学習の信頼性が向上し、ドーパミン神経細胞のバースト発火行動の妥当な説明が得られた。
• SNNコントローラーにより、従来のRLアルゴリズムが必須とする離散化を回避し、連続的パラメータ空間における直接的学習が可能になった。