[論文レビュー] Distinguishing Learning Rules with Brain Machine Interfaces

Jacob Portes, Christian Schmid+1 more|arXiv (Cornell University)|Jun 27, 2022

Neural dynamics and brain function被引用数 5

ひとこと要約

本論文は、脳機械インターフェース（BMI）実験を用いて、生物学的に妥当な学習ルール——特に、信用配分のバイアスがある教師あり学習（SL）とそのようなバイアスのない強化学習（RL）——を区別する手法を提案する。再帰的ニューラルネットワーク（RNN）を用いてカーソル制御タスクをモデル化し、学習中の神経活動変化に基づく統計的指標を導出することで、SLでは不完全な信用配分による重み更新の系統的バイアスが生じるのに対し、RLでは真の勾配方向に従うため、観測された神経動態を用いて明確に区別可能であることを示した。

ABSTRACT

Despite extensive theoretical work on biologically plausible learning rules, clear evidence about whether and how such rules are implemented in the brain has been difficult to obtain. We consider biologically plausible supervised- and reinforcement-learning rules and ask whether changes in network activity during learning can be used to determine which learning rule is being used. Supervised learning requires a credit-assignment model estimating the mapping from neural activity to behavior, and, in a biological organism, this model will inevitably be an imperfect approximation of the ideal mapping, leading to a bias in the direction of the weight updates relative to the true gradient. Reinforcement learning, on the other hand, requires no credit-assignment model and tends to make weight updates following the true gradient direction. We derive a metric to distinguish between learning rules by observing changes in the network activity during learning, given that the mapping from brain to behavior is known by the experimenter. Because brain-machine interface (BMI) experiments allow for precise knowledge of this mapping, we model a cursor-control BMI task using recurrent neural networks, showing that learning rules can be distinguished in simulated experiments using only observations that a neuroscience experimenter would plausibly have access to.

研究の動機と目的

• 生物学的ニューラルネットワークで使用されている学習ルール——教師あり学習か強化学習か——を特定する課題に取り組む。
• 教師あり学習における不完全な信用配分が、合成重み更新の系統的バイアスを引き起こす仕組みを調査する。
• 内部ネットワーク重みを必要とせず、観測可能な神経活動と既知のBMIデコーダーのみを用いて、学習ルールを区別する手法を開発する。
• 再帰的ニューラルネットワークを用いて生物学的に妥当な学習ルールで訓練されたシミュレートされたBMIタスクで、このアプローチを検証する。
• 実時間BMIパラダイムにおける神経データから学習メカニズムを推定できるフレームワークを、実験神経科学者に提供する。

提案手法

• 神経活動から行動を予測する既知のデコーダーを用いて、カーソル制御BMIタスクを再帰的ニューラルネットワーク（RNN）でモデル化する。
• 2つの生物学的に妥当な学習ルールを実装する：信用配分行列Mを用いた教師あり学習（SL）、およびポリシー勾配更新を用いた強化学習（RL）。
• 各ルールにおける重み更新の予測モデルを導出する：SLではM × エラー × ヒドゥン活動、RLではBMI重み × ノイズ × エラー × ヒドゥン活動を用いる。
• 観測された神経活動変化（ΔF）と重み更新（ΔW）の予測との相関を統計的指標として計算し、モデルの適合度を評価する。
• 重み更新に主成分分析（PCA）を適用し、SLでは集中した方向（焦点）に、RLでは分散した方向に更新が生じることを可視化する。
• ノイズレベルやデコーダーのアライメントごとに、相関指標の差の有意性を検証するため、2標本t検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習中の神経活動ダイナミクスの差を用いて、信用配分のバイアスがある教師あり学習とそのようなバイアスのない強化学習を区別できるか？
• RQ2 教師あり学習におけるバイアス付き信用配分モデルの存在が、真の勾配とは異なる系統的偏差を重み更新方向に引き起こすか？
• RQ3 観測された神経活動変化に基づく統計的指標が、シミュレートされたBMI実験で潜在する学習ルールを信頼性高く検出できるか？
• RQ4 BMIデコーダーと信用配分行列のアライメントが、学習ルールの差の検出可能性にどのように影響するか？
• RQ5 デコーダーを再訓練した後も、神経活動多様体が学習フェーズ全体で安定しているか、そしてその安定性がルール推定にどのように影響するか？

主な発見

• SLで訓練されたRNNでは、観測された1試行あたりの重み更新が、信用配分行列Mに基づく予測と強く相関していた（相関係数r ≈ 0.6）、系統的バイアスの存在を示した。
• RLで訓練されたRNNでは、個々の重み更新が主成分に均等に分布しており、支配的な更新方向が存在しないことが示された。
• RLにおける試行平均の重み更新は、予測されたRL更新方向と有意に相関していた（p < 0.01）、非バイアス勾配追従の確認が得られた。
• SLとRLを区別する統計的指標は、さまざまなノイズレベルで有意に維持され、特にデコーダーのアライメントが低い場合（類似度 < 0.6）に顕著であった。
• デコーダー再訓練後も、初期学習段階と後期学習段階の神経活動多様体に顕著な重なりが見られ、時間経過に伴う学習ルールの安定的推定が可能であることを支持した。
• 観測された神経活動変化（ΔF）と予測との相関は、SLではRLよりも顕著に高かった、これにより本手法がルール固有のバイアスを検出可能であることが確認された。