[論文レビュー] Non-linear motor control by local learning in spiking neural networks

Aditya Gilra, Wulfram Gerstner|arXiv (Cornell University)|Dec 29, 2017

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿では、非線形の運動力学的特性を学習するための、生物学的に妥当で局所的な学習ルールである FOLLOW を提案する。微分フィードフォワード構造を用いることで、ネットワークはアームの状態軌道から連続時間の運動指令を推定し、最小限の誤差で二関節アームの高精度なクローズドループ制御を実現する。

ABSTRACT

Learning weights in a spiking neural network with hidden neurons, using local, stable and online rules, to control non-linear body dynamics is an open problem. Here, we employ a supervised scheme, Feedback-based Online Local Learning Of Weights (FOLLOW), to train a network of heterogeneous spiking neurons with hidden layers, to control a two-link arm so as to reproduce a desired state trajectory. The network first learns an inverse model of the non-linear dynamics, i.e. from state trajectory as input to the network, it learns to infer the continuous-time command that produced the trajectory. Connection weights are adjusted via a local plasticity rule that involves pre-synaptic firing and post-synaptic feedback of the error in the inferred command. We choose a network architecture, termed differential feedforward, that gives the lowest test error from different feedforward and recurrent architectures. The learned inverse model is then used to generate a continuous-time motor command to control the arm, given a desired trajectory.

研究の動機と目的

• 隠れ層を有するスパikingニューラルネットワークを、局所的で安定的かつオンライン学習可能なルールを用いて、非線形運動力学的特性の逆モデルを学習する課題に対処すること。
• フィードバックに基づく局所的学習ルールである FOLLOW が、連続時間の運動制御に適したスパikingネットワークにおける効果的な逆モデル学習を可能にすることを示すこと。
• FOLLOWルール下での逆モデル学習において、フィードフォワード型および再帰型の異なるネットワーク構造（フィードフォワード、再帰型、微分フィードフォワード）を評価・比較し、最適な構成を同定すること。
• 学習済みの逆モデルを用いて二関節アームのクローズドループ制御を実装し、軌道追従におけるロバストネスと精度を示すこと。
• 本手法の生物学的妥当性および神経ロボティクスおよびニューモーフィックコンピューティングにおけるハードウェア実装可能性を確立すること。

提案手法

• スパikingニューラルネットワークにおける可塑的重みを学習するために、FOLLOW（フィードバックベースのオンライン局所的重み学習）ルールを採用し、事前シナプスのスパイクと事後シナプスの誤差フィードバックを用いる。
• 時間的処理能力と学習性能を向上させるために、非遅延および遅延付きの2本の並列入力ストリームを有する微分フィードフォワードネットワーク構造を用いる。
• 二関節アームの観測された状態軌道から連続時間の運動指令を推定するために、ネットワークを学習させ、入力層および出力層には固定されたランダムな符号化重みを用いる。
• 推定された運動指令と実際の運動指令との誤差（遅延あり）をフィードバックし、局所的に重みを更新することで、安定性と収束性を確保する。
• 比例フィードバック（ゲイン $k' = 3$）を用いたクローズドループ制御を実装し、学習済みの逆モデルと線形フィードバックを組み合わせることで、追従性能を向上させる。
• 非線形関数近似を可能にするために、不均一なバイアスを持つ漏れ積分および放電（LIF）ニューロンを用いる。

実験結果

リサーチクエスチョン

• RQ1 FOLLOW のような局所的でオンラインかつ安定的な学習ルールが、非線形運動系の逆動力学的特性を学習するスパikingニューラルネットワークを訓練可能か？
• RQ2 FOLLOWルール下で、フィードフォワード、再帰型、または微分フィードフォワードのどのネットワーク構造が逆モデル学習において最小のテスト誤差を達成するか？
• RQ3 学習済みの逆モデルが、二関節アームの望ましい軌道を追従するための高精度なクローズドループ制御を可能にするか？
• RQ4 FOLLOWベースの制御器の性能は、逆モデルを備えない標準的なフィードバック制御と比較してどのように異なるか？
• RQ5 FOLLOW学習スキームは、どの程度生物学的に妥当であり、ニューモーフィックハードウェアへの実装に適しているか？

主な発見

• FOLLOW学習ルール下で、微分フィードフォワード構造が、評価されたすべてのフィードフォワード型および再帰型構造の中で最小のテスト誤差を達成した。
• ネットワークは、状態軌道から連続時間の運動指令を推定する能力を効果的に学習し、二関節アームの高精度な制御を可能にした。
• 比例フィードバック（ゲイン $k' = 3$）を用いたクローズドループ制御により、アームは望ましい軌道を非常によく追従し、オープンループ性能と比較して著しく誤差が低減された。
• 逆モデルにより初期誤差が低減されたため、線形フィードバックがずれを効果的に補正でき、学習済みの逆制御とフィードバックの相乗効果が示された。
• FOLLOWルールにより、安定的でオンラインかつシナプス的に局所的な重み更新が実現され、生物学的妥当性およびニューモーフィック実装に適したアプローチとなった。
• 逆モデルが存在しない場合、標準的な線形フィードバック制御は非線形動力学的特性のため、望ましい軌道を追従できなかった。これは、学習済みモデルの必要性を強調している。