[论文解读] Entropy bifurcation of neural networks on Cayley trees

Jung‐Chao Ban, Chih-Hung Chang+1 more|arXiv (Cornell University)|Jun 27, 2017

Neural dynamics and brain function被引用 4

一句话总结

本文表征了在Cayley树上神经网络的熵谱，表明熵是离散的，且仅取决于耦合权重为0或ln d。它建立了熵分岔和临界性的完整条件，显示当耦合权重满足特定不等式时，神经网络的熵达到最小，揭示了信息存储容量中的相变。

ABSTRACT

It has been demonstrated that excitable media with a tree structure performed better than other network topologies, it is natural to consider neural networks defined on Cayley trees. The investigation of a symbolic space called tree-shift of finite type is important when it comes to the discussion of the equilibrium solutions of neural networks on Cayley trees. Entropy is a frequently used invariant for measuring the complexity of a system, and constant entropy for an open set of coupling weights between neurons means that the specific network is stable. This paper gives a complete characterization for entropy spectrum of neural networks on Cayley trees and reveals whether the entropy bifurcates when the coupling weights change.

研究动机与目标

• 表征定义在Cayley树上的神经网络的熵谱，特别关注平衡解。
• 研究当神经元之间的耦合权重变化时，熵是否发生分岔，以指示敏感性或临界性。
• 确定此类网络熵最小的充分必要条件。
• 建立树移位有限型中的分离性质与树拓扑上神经网络学习动力学之间的联系。
• 基于耦合参数对熵行为进行全面分类，揭示离散的熵层级和临界阈值。

提出的方法

• 使用带有分段线性激活函数的微分方程系统，在有根Cayley树上建模神经网络。
• 将平衡解表示为有限型树移位（TSFTs），其中禁止的局部模式由分离性质导出。
• 应用树上的符号动力学分析TSFT的拓扑熵，利用熵计算算法。
• 基于耦合权重a和z推导熵的显式公式，使用权重线性组合的最大值和次大值。
• 基于a、z与最小绝对权重|aℓ|之间的关系，引入临界性条件，定义熵从0跃迁至ln d的临界点。
• 在a–z平面上构建熵分岔图，将参数空间划分为具有不同熵值的区域。

实验结果

研究问题

• RQ1 在Cayley树上，神经网络的拓扑熵如何随耦合权重的变化而变化？
• RQ2 在何种条件下，此类网络的熵发生分岔，表明信息存储容量发生相变？
• RQ3 何时神经网络的熵最小，耦合权重的确切条件是什么？
• RQ4 树状神经网络的熵谱结构如何，是离散的还是连续的？
• RQ5 分离性质和禁止的局部模式如何约束镶嵌解的熵与动力学？

主要发现

• 在每个节点有d个子节点的Cayley树上，神经网络的熵为0或ln d，具体取决于耦合权重。
• 当且仅当min{p, q} = 0 或 max{p, q} = 1 时，熵为零，其中p和q由耦合权重参数导出。
• 当熵无法通过任何真子移位进一步降低时，网络达到熵最小，这恰好发生在耦合权重满足推导出的临界条件时。
• 当a − 1 = ||z| − |aℓ|| − ∑i≠ℓ |ai| 时出现临界点，其中aℓ为最小绝对权重，标志着零熵与正熵之间的边界。
• 熵分岔图将a–z平面划分为(2^d + 1)^2个区域，仅在图中特定红线以上区域实现熵ln d。
• 对于二叉Cayley树（d = 2），参数空间中的区域[3,2]实现熵h(Y[3,2]) = ln 2，与理论预测一致。