[论文解读] Coloring Fibonacci-Cayley tree: An application to neural networks

Jung‐Chao Ban, Chih-Hung Chang|arXiv (Cornell University)|Jul 5, 2017

Neural dynamics and brain function参考文献 15被引用 3

一句话总结

本文研究了斐波那契-凯莱树上神经网络的熵，对阿尔茨海默病等疾病中的神经元 dysfunc­tion 进行建模。通过将熵计算简化为非线性递归系统并应用一种新算法，证明了熵的可能取值仅有两个：0 或 ln g，并给出了参数空间中临界边界的精确公式。

ABSTRACT

This paper investigates the coloring problem on Fibonacci-Cayley tree, which is a Cayley graph whose vertex set is the Fibonacci sequence. More precisely, we elucidate the complexity of shifts of finite type defined on Fibonacci-Cayley tree via an invariant called entropy. It comes that computing the entropy of a Fibonacci tree-shift of finite type is equivalent to studying a nonlinear recursive system. After proposing an algorithm for the computation of entropy, we apply the result to neural networks defined on Fibonacci-Cayley tree, which reflect those neural systems with neuronal dysfunction. Aside from demonstrating a surprising phenomenon that there are only two possibilities of entropy for neural networks on Fibonacci-Cayley tree, we reveal the formula of the boundary in the parameter space.

研究动机与目标

• 通过斐波那契-凯莱树拓扑结构对具有神经元 dysfunc­tion 的神经网络进行建模，反映阿尔茨海默病等疾病中病理的传播过程。
• 通过树上的移位空间的拓扑熵这一关键不变量，度量此类神经系统的复杂性。
• 开发一种算法，用于计算斐波那契-凯莱树上有限型树移位的熵。
• 确定熵在零与正值之间发生转变的完整参数空间，识别临界边界。
• 将一维与多维移位的结果推广至树移位，揭示熵值的惊人二分性。

提出的方法

• 将斐波那契-凯莱树上的神经网络建模为有限型树移位（SFT），其中禁止的局部模式代表功能异常的神经元状态。
• 将熵计算简化为基于底层图结构邻接矩阵推导出的非线性递归系统分析。
• 应用 Perron-Frobenius 定理计算转移矩阵的主导特征值，从而通过谱半径的对数获得熵。
• 在 (a,z)-平面上引入基于区域的索引系统，划分为 25 个等价区域 [p,q]，以实现熵行为的分类。
• 利用简单的递推表示和矩阵约化技术（如删除行/列）分析仅含一个或两个关键符号的子情况下的熵。
• 推导出临界条件：当且仅当 a−1 = ||z|−m|−M 时，(a,z) 为临界点，其中 m=min{|a₁|,|a₂|}，M=max{|a₁|,|a₂|}，将参数空间与熵相变联系起来。

实验结果

研究问题

• RQ1 定义在斐波那契-凯莱树上的有限型树移位的熵是多少？它与底层递归结构有何关系？
• RQ2 斐波那契-凯莱树上神经网络的熵能否通过算法计算？其计算复杂度如何？
• RQ3 在分离性条件下，此类神经网络的熵是否表现出二分行为——仅取零或正值？
• RQ4 (a,z)-参数空间中分离零熵与正熵区域的精确几何边界是什么？
• RQ5 将神经元 dysfunc­tion 建模为树中的死节点，如何影响网络的信息承载能力？

主要发现

• 斐波那契-凯莱树上神经网络的熵要么为零，要么为 ln g，揭示了信息容量的惊人二分性。
• 当区域索引 [p,q] 满足 min{p,q}=0 或 max{p,q}=1 时，熵为零，表明模式增长受限。
• 当 p,q>0 且 max{p,q}≥2 时，熵为 ln g，对应于给定约束下的最大模式多样性。
• (a,z)-参数空间中的临界边界由 a−1 = ||z|−m|−M 给出，其中 m 和 M 分别为 |a₁| 和 |a₂| 的最小值与最大值。
• 熵计算可简化为分析非线性递归系统，转移矩阵的主导特征值决定了熵的大小。
• 该结果将 Lind 的一维 SFT 熵结果推广至树移位，表明树移位熵是某个 Perron 数的对数。