[论文解读] A normative theory of adaptive dimensionality reduction in neural networks

Cengiz Pehlevan, Dmitri B. Chklovskii|arXiv (Cornell University)|Dec 7, 2015

Neural dynamics and brain function参考文献 38被引用 27

一句话总结

本文提出了一种生物上合理的在线算法，用于神经网络中的自适应降维，根据输入数据的特征谱动态调整输出维度。该方法推导出三种目标函数——软阈值化、硬阈值化和等量阈值化的特征值——并通过局部学习规则进行优化，两种网络架构自然地产生了主成分和中间神经元样群体。

ABSTRACT

To make sense of the world our brains must analyze high-dimensional datasets streamed by our sensory organs. Because such analysis begins with dimensionality reduction, modeling early sensory processing requires biologically plausible online dimensionality reduction algorithms. Recently, we derived such an algorithm, termed similarity matching, from a Multidimensional Scaling (MDS) objective function. However, in the existing algorithm, the number of output dimensions is set a priori by the number of output neurons and cannot be changed. Because the number of informative dimensions in sensory inputs is variable there is a need for adaptive dimensionality reduction. Here, we derive biologically plausible dimensionality reduction algorithms which adapt the number of output dimensions to the eigenspectrum of the input covariance matrix. We formulate three objective functions which, in the offline setting, are optimized by the projections of the input dataset onto its principal subspace scaled by the eigenvalues of the output covariance matrix. In turn, the output eigenvalues are computed as i) soft-thresholded, ii) hard-thresholded, iii) equalized thresholded eigenvalues of the input covariance matrix. In the online setting, we derive the three corresponding adaptive algorithms and map them onto the dynamics of neuronal activity in networks with biologically plausible local learning rules. Remarkably, in the last two networks, neurons are divided into two classes which we identify with principal neurons and interneurons in biological circuits.

研究动机与目标

• 解决早期感觉处理中在线降维的生物合理性问题。
• 使神经网络能够根据输入数据的固有维度动态调整输出维度的数量。
• 推导出优化投影至主子空间的目标函数，该投影由输入协方差矩阵特征值的阈值化结果缩放。
• 将这些目标函数映射为与局部突触可塑性规则兼容的在线学习算法。
• 在所得网络动态中识别出涌现的功能性神经元类别（主成分神经元和中间神经元）。

提出的方法

• 制定三种离线目标函数，用于优化输入数据在主子空间上的投影，该投影由输入协方差矩阵特征值的软阈值化、硬阈值化和等量阈值化结果缩放。
• 通过在局部学习规则下对目标函数应用梯度上升，推导出相应的在线算法，确保生物合理性。
• 将所得神经网络动态映射为两类不同的神经元：一类代表主成分神经元（编码降维后的维度），另一类代表中间神经元（调节活动与稳定性）。
• 采用具有递归连接和局部可塑性规则的神经网络架构，实现自适应降维过程。
• 采用反馈机制，通过阈值化操作从输入协方差特征值中推导输出特征值。
• 证明硬阈值化和等量阈值化变体自然地导致神经元划分为两类功能群体，分别对应于生物上的主成分和中间神经元群体。

实验结果

研究问题

• RQ1 神经网络中的降维如何根据输入数据的特征谱自适应地调整输出维度的数量？
• RQ2 哪些目标函数能够实现在线、生物上合理的学习，以优化在阈值化特征值缩放下的主子空间投影？
• RQ3 在递归网络中，局部学习规则如何导致类似主成分神经元和中间神经元的功能性神经元类别的出现？
• RQ4 阈值化策略（软阈值、硬阈值、等量阈值）与不同神经元群体涌现之间的关系是什么？
• RQ5 此类网络的动力学能否再现生物感觉处理电路在早期感知中的行为？

主要发现

• 所提出的算法通过根据输入数据的特征谱动态调整输出维度数量，实现了自适应降维。
• 硬阈值化和等量阈值化变体自然地产生了两类不同的神经元类别，分别被识别为主成分神经元和中间神经元。
• 在硬阈值化和等量阈值化目标函数下的网络动态表现出稳定且生物上合理的活动模式，与已知皮层微环路组织一致。
• 软阈值化变体未产生清晰的功能性神经元类别划分，表明网络组织存在定性差异。
• 所有三种算法均源自统一的基于MDS的目标函数，确保与经典降维原理的一致性。
• 在线学习规则完全局部化，使这些算法适用于仅依赖最小全局信息的生物神经回路实现。