[論文レビュー] A normative theory of adaptive dimensionality reduction in neural networks

Cengiz Pehlevan, Dmitri B. Chklovskii|arXiv (Cornell University)|Dec 7, 2015

Neural dynamics and brain function参考文献 38被引用数 27

ひとこと要約

本稿では、入力データの固有スペクトルに基づいて出力次元を動的に調整する、生物学的に妥当なオンラインアルゴリズムを、ニューラルネットワークにおける次元削減に提案する。3つの目的関数—ソフトスレッディング、ハードスレッディング、等価スレッディングされた固有値—を導出し、局所的学習則を用いて最適化する。2つのネットワークアーキテクチャが自然に主成分とインターニューロンに類似した集団を生じる。

ABSTRACT

To make sense of the world our brains must analyze high-dimensional datasets streamed by our sensory organs. Because such analysis begins with dimensionality reduction, modeling early sensory processing requires biologically plausible online dimensionality reduction algorithms. Recently, we derived such an algorithm, termed similarity matching, from a Multidimensional Scaling (MDS) objective function. However, in the existing algorithm, the number of output dimensions is set a priori by the number of output neurons and cannot be changed. Because the number of informative dimensions in sensory inputs is variable there is a need for adaptive dimensionality reduction. Here, we derive biologically plausible dimensionality reduction algorithms which adapt the number of output dimensions to the eigenspectrum of the input covariance matrix. We formulate three objective functions which, in the offline setting, are optimized by the projections of the input dataset onto its principal subspace scaled by the eigenvalues of the output covariance matrix. In turn, the output eigenvalues are computed as i) soft-thresholded, ii) hard-thresholded, iii) equalized thresholded eigenvalues of the input covariance matrix. In the online setting, we derive the three corresponding adaptive algorithms and map them onto the dynamics of neuronal activity in networks with biologically plausible local learning rules. Remarkably, in the last two networks, neurons are divided into two classes which we identify with principal neurons and interneurons in biological circuits.

研究の動機と目的

• 初期感覚処理におけるオンライン次元削減の生物学的妥当性のギャップを解消すること。
• ニューラルネットワークが入力データの内在次元に応じて出力次元数を動的に調整できることを可能にすること。
• 入力共分散の固有値をスレッディングしたスケーリング係数を用いて、主部分空間への射影を最適化する目的関数を導出すること。
• これらの目的関数を、局所的シナプス可塑性則と整合するオンライン学習アルゴリズムにマッピングすること。
• 得られるネットワークダイナミクスから、機能的ニューロン集団（主成分ニューロンとインターニューロン）が出現することを特定すること。

提案手法

• 入力共分散行列のソフトスレッディング、ハードスレッディング、等価スレッディングされた固有値を用いてスケーリングされた主部分空間への入力データの射影を最適化する3つのオフライン目的関数を定式化する。
• 局所的学習則の下で目的関数に勾配上昇を適用することにより、生物学的妥当性を保証するオンラインアルゴリズムを導出する。
• 得られたニューラルネットワークダイナミクスを、主成分ニューロン（次元削減を符号化）とインターニューロン（活動と安定性を調整）の2つの異なるニューロンクラスにマッピングする。
• 再帰的接続と局所的可塑性則を備えたニューラルネットワークアーキテクチャを用いて、適応的次元削減プロセスを実装する。
• 出力固有値が入力共分散固有値をスレッディング操作を通じて得られるフィードバック機構を採用する。
• ハードスレッディングおよび等価スレッディングされたバージョンが自然に2つの機能的ニューロン集団に分離することを示し、生物学的主成分およびインターニューロン集団に類似している。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける次元削減は、どのように入力データの固有スペクトルに基づいて出力次元数を動的に調整できるか？
• RQ2 オンラインで生物学的に妥当な学習を可能にし、スレッディングされた固有値を用いて主部分空間への射影を最適化する目的関数は何か？
• RQ3 再帰的ネットワークにおける局所的学習則は、どのように主成分およびインターニューロンに類似した機能的ニューロン集団を生じさせるか？
• RQ4 スレッディング戦略（ソフト、ハード、等価）と、明確に分離した神経集団の出現との関係は何か？
• RQ5 このようなネットワークのダイナミクスは、初期知覚における生物学的感覚処理回路の挙動を再現できるか？

主な発見

• 提案されたアルゴリズムは、入力データの固有スペクトルに応じて出力次元数を動的に調整することで、適応的次元削減を達成する。
• ハードスレッディングおよび等価スレッディングされたバージョンのアルゴリズムは、それぞれ主成分ニューロンとインターニューロンとして特定される2つの明確なニューロン集団を自然に生じさせる。
• ハードスレッディングおよび等価スレッディングされた目的関数に基づくネットワークダイナミクスは、既知の皮質微小回路組織と整合する安定的で生物学的に妥当な活動パターンを示す。
• ソフトスレッディングされたバージョンは、明確な機能的ニューロン集団への分離を生じさせないため、ネットワーク組織の質的差異を示唆する。
• 3つのアルゴリズムはすべて、一貫性のある古典的次元削減原理を保証する統一されたMDSベースの目的関数から導出される。
• オンライン学習則は完全に局所的であるため、最小限のグローバル情報で、生物学的ニューラル回路への実装に適している。