[論文レビュー] Adaptive compressed sensing - a new class of self-organizing coding models for neuroscience

William K. Coulter, Christopher J. Hillar+1 more|arXiv (Cornell University)|Jun 5, 2009

Neural dynamics and brain function参考文献 18被引用数 5

ひとこと要約

この論文は、圧縮センシングフレームワークにおけるシナプス学習を用いて、間引きられた入力下でもスパースコーディングを可能にする、新しいニューラルネットワークモデルである適応的圧縮センシング（ACS）を紹介する。従来のスパースコーディングとは異なり、ACSはフィードフォワード入力が著しく間引きられても、生物学的に現実的で空間的に滑らかな受容野を形成でき、スパースコーディングを段階的な圧縮プロジェクションで積み重ねることで、意味のある表現を段階的な復元段階で保持する、皮質間通信を可能にする。

ABSTRACT

Sparse coding networks, which utilize unsupervised learning to maximize coding efficiency, have successfully reproduced response properties found in primary visual cortex \cite{AN:OlshausenField96}. However, conventional sparse coding models require that the coding circuit can fully sample the sensory data in a one-to-one fashion, a requirement not supported by experimental data from the thalamo-cortical projection. To relieve these strict wiring requirements, we propose a sparse coding network constructed by introducing synaptic learning in the framework of compressed sensing. We demonstrate that the new model evolves biologically realistic spatially smooth receptive fields despite the fact that the feedforward connectivity subsamples the input and thus the learning has to rely on an impoverished and distorted account of the original visual data. Further, we demonstrate that the model could form a general scheme of cortical communication: it can form meaningful representations in a secondary sensory area, which receives input from the primary sensory area through a "compressing" cortico-cortical projection. Finally, we prove that our model belongs to a new class of sparse coding algorithms in which recurrent connections are essential in forming the spatial receptive fields.

研究の動機と目的

• 受容野と一致する完全で正確なフィードフォワード接続を必要とする従来のスパースコーディングモデルの生物学的不実現性を是正すること。
• 実験的データが支持するように、間引きられた丘腦皮質および皮質間投影の制約下で動作する学習スキームを開発すること。
• 入力が圧縮され歪められても、意味的で空間的に滑らかな受容野が形成されうることを示すこと。
• スパースニューラルコードの圧縮と再構成に基づく、汎用的かつスタック可能な皮質通信フレームワークを確立すること。
• 入力が間引きられると、フィードバック接続が受容野の形状を決定づけるために不可欠になること、皮質計算におけるこの主要な問題を解決すること。

提案手法

• エネルギー最小化フレームワークを用い、修正された目的関数 $ E({\bf x,a,\bf\tilde{\bf \theta}}) = \frac{1}{2}\|\bf\Phi x - \bf\Theta a\|^2 + \lambda \|a\|_{L_0} $ を採用する。ここで $\bf\Phi$ は固定されたランダム圧縮行列、$\bf\Theta$ は勾配降下法により学習される自己適応的辞書である。
• シナプス重み（$\bf\Theta$）は、エネルギー関数の勾配降下に基づいて導かれたヘブ型学習則を用いて更新され、圧縮入力下でもネットワークが自己組織化できる。
• モデルは2段階で動作する：まず、一次領域が間引きられた入力 $\bf\Phi x$ を受取り、スパースコード $\bf a$ を形成する。次に、このコードが圧縮プロジェクションを通じて二次領域に送信され、復元される。
• 受容野（RF）は関係式 $\bf\Phi RF = \bf\Theta D$ から導かれる。ここで $D$ は活動の共分散である。この関係は、受容野がフィードフォワード重みとフィードバック接続の両方によって形作られることを示している。
• 理論的分析により、圧縮状態（$k \ll m$）では、受容野がフィードフォワード重みのスカラー倍でないことが一般的に示された。これは、$\bf\Phi\Phi^\top$ が単位行列に近い場合を除く。
• シミュレーションにより、入力の間引きが生じても、滑らかで方向選択性を持つ受容野が形成され、複数段階にわたる階層的復元が成功した。

実験結果

リサーチクエスチョン

• RQ1 丘腦皮質投影のようにフィードフォワード入力が間引きられている状況下でも、スパースコーディングネットワークは生物学的に現実的な受容野を形成できるか？
• RQ2 圧縮センシングフレームワークにおけるシナプス学習は、入力歪み下でも空間的に滑らかな受容野の形成をどのように可能にするか？
• RQ3 ACSモデルは、皮質間投影による圧縮を通じてスパースコードの意味的復元を可能にすることで、階層的皮質通信を支援できるか？
• RQ4 入力が間引きられている状況下で、フィードバック接続は受容野の形状にどのような役割を果たすか？
• RQ5 1対1のフィードフォワード接続が存在しない状況下でも、効率的で非自明な受容野が出現する理論的根拠はあるか？

主な発見

• ACSは、ランダムなプロジェクション行列 $\bf\Phi$ を用いて入力が間引きられても、空間的に滑らかで方向選択性を持つ受容野を効果的に形成でき、現実の接続制約下でも生物学的妥当性を示した。
• 理論的分析により、圧縮状態では受容野がフィードフォワード重みのスカラー倍でないことがほぼ確実に示された。これは、従来のスパースコーディングの仮定に反する。
• モデルはスタック可能であることが示された：一次領域からのスパースコードが圧縮プロジェクションを通じて送信され、二次感覚領域で意味的表現に復元可能であり、階層的皮質処理を支援する。
• 再帰的フィードバック接続は、圧縮状態における受容野の形状を決定づけるために不可欠である。それらがなければ、受容野は最適なコーディング効率に到達できない。
• エネルギー関数の勾配降下に基づく学習則により、ヘブ型シナプス可塑性則が得られ、これにより入力が間引きられても自己組織化が可能となった。
• シミュレーション結果は、ACSが、元の入力の歪んだ間引きられたバージョンしか受信しなくても、一次視覚皮質の主要な応答特性（方向選択性など）を再現できることを確認した。