[論文レビュー] Neural Propagation of Beliefs

Michael Barber, J. W. Clark+1 more|arXiv (Cornell University)|Feb 23, 2001

Neural Networks and Applications参考文献 28被引用数 3

ひとこと要約

この論文は、確率的情報を確率密度関数（PDF）として表現するニューラル信念ネットワークフレームワークを提案する。このフレームワークは、暗黙的（ベイジアン信念ネットワーク）、最小的（直交関数基底）、および明示的（ニューロンの発火率）の3つの相互に接続された空間を含む。ベイジアン推論と直交関数展開を活用することで、神経回路が下位からの感覚入力と上位からの事前分布を統合でき、このようなネットワークがワーキングメカニズムを用いて曖昧な感覚データを解消し、神経系における一貫性のある確率的推論を実現することを示している。

ABSTRACT

We continue to explore the hypothesis that neuronal populations represent and process analog variables in terms of probability density functions (PDFs). A neural assembly encoding the joint probability density over relevant analog variables can in principle answer any meaningful question about these variables by implementing the Bayesian rules of inference. Aided by an intermediate representation of the probability density based on orthogonal functions spanning an underlying low-dimensional function space, we show how neural circuits may be generated from Bayesian belief networks. The ideas and the formalism of this PDF approach are illustrated and tested with several elementary examples, and in particular through a problem in which model-driven top-down information flow influences the processing of bottom-up sensory input.

研究の動機と目的

• 神経集団がアナログ変数を確率密度関数（PDF）として符号化・処理するという仮説を拡張し、確率的推論を可能にする。
• 複数の証拠源を含むような複雑な確率的モデルが、神経回路にどのように埋め込まれるかを解明する。
• 抽象的なベイジアン信念ネットワークと生物学的に現実的なニューラルネットワーク実装を結びつける形式的フレームワークを構築する。
• 上位からのモデル駆動信号が、確率的推論を通じて下位からの感覚入力にグローバルな規則性をもたらす仕組みを示す。
• マルチモーダルPDFから1つの主要な解釈を選択するメカニズム（ワーキングメカニズム）を導入し、ニューラルネットワークにおける意思決定を可能にする。

提案手法

• 最小関数空間における直交基底を用いて、神経変数のPDFを表現し、効率的な数学的処理を可能にする。
• 抽象的なPDF表現を明示空間（神経発火率）にマッピングするために、冗長で過完全なデコーディング関数の集合を用いる。
• 最小空間（PDF係数）と明示空間（神経発火率）の間を変換するための符号化およびデコーディングルールを適用する。
• ベイジアン信念ネットワークの構造を、フィードフォワード、フィードバック、およびラテラル接続を持つ神経回路アーキテクチャに翻訳することで、ニューラル信念ネットワークを構築する。
• 高次変数（例：z）の表現にワーキングメカニズムのダイナミクスを適用し、マルチモーダルPDFから最も確率の高いモードを選択する。
• ユーティリティ関数に基づく競争メカニズムを用いて、支配的でない神経表現を選択し、確率的入力からの意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経集団は、生物学的に現実的である方法でアナログ変数の確率密度関数（PDF）をどのように表現・処理できるか？
• RQ2 ベイジアン信念ネットワークを、下位と上位の情報フローを両方サポートする神経回路モデルに体系的に変換するにはどうすればよいか？
• RQ3 直交関数展開が、PDFの正確で低精度な神経表現を可能にする役割は何か？
• RQ4 上位からのモデル駆動信号は、確率的推論を通じて下位からの曖昧な感覚入力をどのように解消できるか？
• RQ5 ワーキングメカニズムは、マルチモーダル分布から1つの主要な解釈を選択するために確率的ニューラルネットワークに統合可能か？

主な発見

• ベイジアン信念ネットワークを直交関数の最小空間にマッピングすることで、ニューラル信念ネットワークを構築でき、効率的な確率的計算が可能になる。
• 最小空間（PDF係数）から明示空間（神経発火率）への変換は、PDFの正確性を保持する符号化およびデコーディングルールによって実現される。
• 高次モデルから導出される上位信号は、グローバルな規則性をもたらし、曖昧な感覚入力を解消できる。マルチモーダルな予測入力の事例でこれを示した。
• ユーティリティ関数によって駆動されるワーキングメカニズムは、マルチモーダルPDFの支配的モードを効果的に選択し、ニューラルネットワークにおける意思決定を可能にする。
• このフレームワークは、感覚的証拠と事前知識の一貫性のある統合を可能にし、不確実性下でも頑健な推論を実現する。
• このモデルは、確率的モデルを神経回路に埋め込むための形式的でスケーラブルなプロTOCOLを提供し、視覚、電気的感受覚系、注意処理への応用が期待される。