[論文レビュー] Stochastic neural computation without noise

Jakob Jordan, Mihai A. Petrovici+5 more|arXiv (Cornell University)|Oct 13, 2017

Neural dynamics and brain function被引用数 2

ひとこと要約

本稿では、確率的ニューラルネットワークにおける共有ノイズ源として、決定的再帰型ニューラルネットワーク（RNN）を用いる手法を提案する。抑制性フィードバックを活用することでノイズの相関を低減し、各ニューロンに個別にノイズ源を設ける必要を排除する。この手法により、数千ユニットの大型機能的ネットワークを、1つのコンactなノイズ生成ネットワークで高精度に実現可能であり、バイナリニューロンおよびスパikingニューロンモデルの両方で検証された。

ABSTRACT

Neural-network models of high-level brain functions such as memory recall and reasoning often rely on the presence of stochasticity. The majority of these models assumes that each neuron in the functional network is equipped with its own private source of randomness, often in the form of uncorrelated external noise. However, both in vivo and in silico, the number of noise sources is limited due to space and bandwidth constraints. Hence, neurons in large networks usually need to share noise sources. Here, we show that the resulting shared-noise correlations can significantly impair the performance of stochastic network models. We demonstrate that this problem can be overcome by using deterministic recurrent neural networks as sources of uncorrelated noise, exploiting the decorrelating effect of inhibitory feedback. Consequently, even a single recurrent network of a few hundred neurons can serve as a natural noise source for large ensembles of functional networks, each comprising thousands of units. We successfully apply the proposed framework to a diverse set of binary-unit networks with different dimensionalities and entropies, as well as to a network reproducing handwritten digits with distinct predefined frequencies. Finally, we show that the same design transfers to functional networks of spiking neurons.

研究の動機と目的

• 共有ノイズ源の相関が大規模ニューラルネットワークの性能を低下させるという制限を解消すること。
• 生物学的および計算リソースの制限により、ニューロンごとに独立したノイズ源を導入することが困難な状況におけるスケーラブルな代替手法を開発すること。
• 1つの決定的再帰ネットワークが、複数の機能的ネットワークに普遍的かつ相関のないノイズ源として機能できることを示すこと。
• バイナリニューロンおよびスパikingニューロンモデルを含む多様なネットワークアーキテクチャにおいて、フレームワークの有効性を検証すること。
• 抑制性フィードバックによって駆動されるノイズの相関除去が、共有ノイズ相関の効果的抑制に寄与することを示すこと。

提案手法

• 少数の決定的再帰型ニューラルネットワーク（RNN）を集中型ノイズ生成源として用い、個別の確率的ノイズ源を置き換える。
• RNN内に内在する抑制性フィードバックの相関低減効果を活用し、相関のないノイズ信号を生成する。
• RNNの出力を複数の機能的ネットワークに供給し、記憶再現や推論といった高レベル脳機能を模倣する。
• RNNの内部ダイナミクスとフィードバックメカニズムを活用することで、機能的ネットワーク間でのノイズ信号が相関を持たないことを保証する。
• 次元数やエントロピーが異なるバイナリユニットネットワークおよび、周波数応答が事前に定義された手書き数字認識ネットワークに、このフレームワークを適用する。
• スパikingニューロンで構成される機能的ネットワークに対してもこのアプローチを拡張し、異なるニューロンモデル間での汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 1つの決定的再帰ネットワークが、確率的ニューラルネットワークにおける複数の独立ノイズ源を効果的に置き換えられるか？
• RQ2 共有ノイズ相関が大規模な確率的ニューラルネットワークの性能に与える影響は何か？
• RQ3 決定的RNN内の抑制性フィードバックが、複数の機能的ネットワークにわたるノイズ信号の相関をどの程度低減できるか？
• RQ4 本フレームワークは、高次元および低エントロピー系を含む多様なネットワークアーキテクチャにおいても性能を維持できるか？
• RQ5 同じノイズ生成RNNをバイナリユニットネットワークとスパikingニューロンネットワークの両方に対して効果的に適用できるか？

主な発見

• 数 hundred ニューロン程度の小さな決定的RNNが、数千ユニットの機能的ネットワークに相関のない効果的ノイズ源として機能可能である。
• RNN内に内蔵された抑制性フィードバックが、ノイズ信号の相関を効果的に低減し、共有ノイズ相関による性能低下を防いでいる。
• 次元数やエントロピーが異なるバイナリユニットネットワークに対しても、本フレームワークは高い性能を維持しており、そのロバスト性が示された。
• 周波数応答が事前に定義された異なる周波数を再現することができ、機能的忠実性が確認された。
• スパキングニューロンで構成される機能的ネットワークに対しても、本設計は効果的に適用可能であり、バイナリユニットを超えた広範な適用可能性が示された。
• 共有ノイズによる性能低下が完全に解消され、個別ノイズ源を必要としないスケーラブルな確率的ニューラル計算が可能になった。