[論文レビュー] Cortical prediction markets

David Balduzzi|arXiv (Cornell University)|Jan 7, 2014

Complex Systems and Time Series Analysis参考文献 23被引用数 11

ひとこと要約

本稿は、神経細胞を合理的なエージェントとしてモデル化し、適切なスコアリングルールを最適化することで、皮質学習のメカニズム設計フレームワークを提案している。合成シナプス重みが期待効用を符号化することを示し、フィードバックに基づくインcentiveバックプロパゲーションを可能にしている。主な貢献は、ニューロンの可塑性を予測市場に結びつける理論的基盤を提供することであり、実験によりフィードバック可塑性を用いたネットワークが、タスクを効率的かつ正確に学習できることを確認した。

ABSTRACT

We investigate cortical learning from the perspective of mechanism design. First, we show that discretizing standard models of neurons and synaptic plasticity leads to rational agents maximizing simple scoring rules. Second, our main result is that the scoring rules are proper, implying that neurons faithfully encode expected utilities in their synaptic weights and encode high-scoring outcomes in their spikes. Third, with this foundation in hand, we propose a biologically plausible mechanism whereby neurons backpropagate incentives which allows them to optimize their usefulness to the rest of cortex. Finally, experiments show that networks that backpropagate incentives can learn simple tasks.

研究の動機と目的

• 皮質がメカニズム設計の原則を用いて環境情報の神経的構造にどのように符号化するかを理解すること。
• 局所的なニューロンの最適化とグローバルな皮質機能性をインセンティブ機構で一致させる課題に対処すること。
• 合成可塑性ルールが、期待効用の真実の符号化を促進する適切なスコアリングルールとして解釈可能かどうかを検討すること。
• フィードバックを用いてニューロンが自身の有用性を推定・最大化する生物学的に妥当なメカニズムを構築すること。
• スパイクニューラルネットワークを用いたフィードバック可塑性の実験を通じて、理論的枠組みを検証すること。

提案手法

• 神経細胞動態および合成可塑性の標準モデルを、スコアリングルールの目的関数を最適化するオンライン更新ルールを持つしきい値ニューロンに離散化する。
• シナプスを、合成重みが適切なスコアリングルールによって符号化された期待効用を表す合理的なエージェントとしてモデル化する。
• 神経細胞を、目的関数が真実の信念報告を保証する適切なスコアリングルールに対応する皮質予測市場のエージェントとしてモデル化する。
• バックプロパゲートされたフィードバックスパイクを用いて、下流の神経細胞に対する有用性を推定するフィードバックに基づくインセンティブ機構を導入する。
• エラーのバックプロパゲーションに類似したが生物学的に妥当なスパイクベースのバックプロパゲーション方式を実装し、フィードバックに基づいて合成重みを更新する。
• スリープに類似した離散的プルーニングによる正則化を適用し、ネットワーク内のスパースで効率的な接続性を維持する。

実験結果

リサーチクエスチョン

• RQ1 神経細胞動態および可塑性の標準モデルは、市場に類似した枠組みにおいて、スコアリングルールを最適化する合理的なエージェントとして再解釈可能か？
• RQ2 神経細胞モデルの目的関数は、期待効用の真実の符号化をインcentivizeする適切なスコアリングルールに対応するか？
• RQ3 神経細胞はフィードバック信号を用いて、自身が皮質全体に対してどれほど有用であるかをどのように推定できるか？ そして、この推定は学習を導くのに利用可能か？
• RQ4 フィードバックに基づくインセンティブ機構は、最小限の教師信号のもとでも、皮質に類似したネットワークで効果的な学習をもたらすか？
• RQ5 合成重みは、前シナプスおよび後シナプス活動の期待効用をどの程度正確に反映しているか？ また、これはネットワーク性能とどのように関係するか？

主な発見

• 神経細胞の目的関数は適切なスコアリングルールであり、合成重みが前シナプスおよび後シナプススパイクの期待効用を忠実に符号化することを保証する。
• 合成重み $\mathbf{w}_{ij}$ は、神経細胞 $n_i$ のスパイクが神経細胞 $n_j$ に与える有用性を定量化し、神経細胞が下流処理への貢献を推定できるようにする。
• フィードバック可塑性が有効な場合、前向およびフィードバックの合成重みの平均値がほぼ同一になることが示され、神経細胞の有用性の正確な推定が可能であることを裏付けた。
• フィードバック可塑性を有するネットワークは、トラッカー課題で98%、フォビエーター課題で95%の正確性を達成し、フィードバック可塑性なしのバージョンを顕著に上回った。
• フィードバック可塑性を無効化すると、正確性は95%（トラッカー）および93%（フォビエーター）に低下し、反応時間も著しく劣化した。これは、迅速かつ適応的学習において、フィードバック可塑性が極めて重要な役割を果たしていることを示している。
• ディレイライン機構はトラッカー性能に不可欠である。この機構を無効化すると正確性はほぼ運任せ水準に低下し、時間的統合が動的環境の学習に不可欠であることが示された。