[論文レビュー] Neural optimal feedback control with local learning rules

Johannes Friedrich, Siavash Golkar+4 more|arXiv (Cornell University)|Nov 12, 2021

Neural dynamics and brain function参考文献 38被引用数 5

ひとこと要約

この論文では、局所的シナプス可塑性ルールのみを用いて、適応的カルマンフィルタリングとモデルフリーのポリシー勾配制御を統合する生物学的に妥当なニューラルネットワーク、Bio-OFCを提案する。この手法により、ノイズが強く遅延する感覚フィードバック下でも、ノイズの共分散やシステムのダイナミクスに関する事前知識が不要な状態で、オンラインでの状態推定と制御が可能となり、飛行安定化や到達制御といったタスクで安定的かつ直接的な軌道制御を達成する。

ABSTRACT

A major problem in motor control is understanding how the brain plans and executes proper movements in the face of delayed and noisy stimuli. A prominent framework for addressing such control problems is Optimal Feedback Control (OFC). OFC generates control actions that optimize behaviorally relevant criteria by integrating noisy sensory stimuli and the predictions of an internal model using the Kalman filter or its extensions. However, a satisfactory neural model of Kalman filtering and control is lacking because existing proposals have the following limitations: not considering the delay of sensory feedback, training in alternating phases, and requiring knowledge of the noise covariance matrices, as well as that of systems dynamics. Moreover, the majority of these studies considered Kalman filtering in isolation, and not jointly with control. To address these shortcomings, we introduce a novel online algorithm which combines adaptive Kalman filtering with a model free control approach (i.e., policy gradient algorithm). We implement this algorithm in a biologically plausible neural network with local synaptic plasticity rules. This network performs system identification and Kalman filtering, without the need for multiple phases with distinct update rules or the knowledge of the noise covariances. It can perform state estimation with delayed sensory feedback, with the help of an internal model. It learns the control policy without requiring any knowledge of the dynamics, thus avoiding the need for weight transport. In this way, our implementation of OFC solves the credit assignment problem needed to produce the appropriate sensory-motor control in the presence of stimulus delay.

研究の動機と目的

• 遅延的かつノイズの強い感覚フィードバックに対処できる生物学的に妥当な最適フィードバック制御（OFC）のニューラル実装が不足している問題に対処すること。
• 推定・システム同定・制御のフェーズを分離する従来のアプローチとは異なり、状態推定（適応的カルマンフィルタリングを介して）と制御（ポリシー勾配を介して）を統合したオンラインフレームワークを統合的に構築すること。
• 古典的OFCで一般的に必要とされるノイズ共分散やシステムダイナミクスに関するグローバル知識に依存しないこと。これは、生物学的妥当性を制限する要因である。
• バックプロパゲーションに内在する重み輸送問題を回避するため、完全にオンラインで動作する単一フェーズの学習アルゴリズムを、局所的シナプス可塑性ルールのみで実装すること。
• 遅延フィードバックや非二次的コスト関数を伴うタスクにおいて、標準的なポリシー勾配法がオーバーシュートや不安定性により失敗する状況でも、強力な性能を示すこと。

提案手法

• ネットワークは、内部状態推定、予測誤差（予測と遅延した感覚フィードバックの不一致）、制御命令を表す、独立したニューロン集団を用いる。
• グローバルな報酬信号を用いて、ポリシー勾配学習による合成的制御を実現し、システムダイナミクスの知識が不要なモデルフリー制御を可能にする。
• オンラインでのシステム同定を通じて適応的カルマンフィルタリングを実装し、ネットワークがリアルタイムでシステムのダイナミクスとノイズ特性を学習可能にする。
• シナプス可塑性ルールは厳密に局所的である：各シナプスは、前後駆動活動とグローバルなニューロモジュレーター信号のみに基づいて更新され、生物学的妥当性の制約を満たす。
• 各タイムステップで内部ループや収束チェックを回避することで、計算複雑性が制御可能で、効率的なオンライン処理が可能になる。
• 状態推定、予測誤差計算、制御ポリシー学習のすべてのコンponentsに同一の学習ルールを適用することで、異なるタスクへの一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 局所的学習ルールのみを用い、ノイズ共分散やシステムダイナミクスの事前知識が不要な生物学的に妥当なニューラルネットワークが、最適フィードバック制御を実現できるか？
• RQ2 遅延する感覚フィードバックをどのように神経制御系に効果的に統合することで、運動制御における不安定性やオーバーシュートを防げるか？
• RQ3 推定・システム同定・制御のフェーズを分離する従来のアプローチとは異なり、統合的で単一フェーズの学習アルゴリズムが、神経的OFCモデルにおいて代替可能か？
• RQ4 適応的カルマンフィルタリングと組み合わせたモデルフリーのポリシー勾配アプローチが、遅延フィードバックが生じるタスクで、標準的なポリシー勾配法をどれほど上回れるか？
• RQ5 予測コーディングフレームワークが、局所的可塑性を用いて状態推定と制御を両方実行する神経ネットワークとして、脳の仕組みにどのように実装可能か？

主な発見

• Bio-OFCは、100 msの遅延する感覚フィードバック下でも、シミュレーテッドフライの飛行を安定化させ、オーバーシュートを示さずに直接的な軌道制御を達成する。これに対して、標準的なポリシー勾配エージェントはオーバーシュートを示し、後退を繰り返す。
• 二重積分器タスクとハンド到達タスクの両方で、安定した性能を示し、遅延的かつノイズの強い刺激に対しても頑健であることを確認した。
• 非二次的L1コスト関数を伴うタスクでは、Bio-OFCが標準的なポリシー勾配法を上回り、遅延フィードバックと予測状態推定の欠如により、後者に困難が生じる状況でも優れた性能を発揮した。
• 適応的カルマンフィルタリングにより、ネットワークがオンラインでシステムのダイナミクスとノイズ特性を学習し、オフラインキャリブレーションや事前知識が不要であることを実証した。
• 局所的学習ルールの使用により、内部ループや収束チェックが不要な完全なオンライン運用が可能となり、アルゴリズムは計算的に効率的かつスケーラブルである。
• 神経解剖学的マッピングでは、状態推定は頂小頭皮質に対応し、システム同定は小脳に対応し、制御ポリシー実行は運動野・前運動皮質に対応しており、実際の脳領域と整合的である。