[论文解读] Disentanglement with Biological Constraints: A Theory of Functional Cell Types

James C. R. Whittington, William Dorrell+2 more|arXiv (Cornell University)|Sep 30, 2022

Neural dynamics and brain function被引用 13

一句话总结

本文提出，生物约束——非负性和能效效率——在数学上强制实现了解耦的神经表征，其中每个神经元仅编码单一任务因子。该理论在线性网络中得到证明，并在包括变分自编码器在内的非线性架构中得到验证，同时解释了大脑为何通过这些约束演化出诸如网格细胞和物体向量细胞等特化细胞类型。

ABSTRACT

Neurons in the brain are often finely tuned for specific task variables. Moreover, such disentangled representations are highly sought after in machine learning. Here we mathematically prove that simple biological constraints on neurons, namely nonnegativity and energy efficiency in both activity and weights, promote such sought after disentangled representations by enforcing neurons to become selective for single factors of task variation. We demonstrate these constraints lead to disentanglement in a variety of tasks and architectures, including variational autoencoders. We also use this theory to explain why the brain partitions its cells into distinct cell types such as grid and object-vector cells, and also explain when the brain instead entangles representations in response to entangled task factors. Overall, this work provides a mathematical understanding of why single neurons in the brain often represent single human-interpretable factors, and steps towards an understanding task structure shapes the structure of brain representation.

研究动机与目标

• 解释为何大脑中的神经元通常仅表示单一、可解释的因子，而非混合响应。
• 形式化生物约束（非负性和能效效率）如何导致神经网络中的解耦表征。
• 为大脑中特化功能细胞类型（如网格细胞、物体向量细胞）的存在提供理论基础。
• 阐明大脑在何种条件下以及为何基于任务结构使用解耦表征与混合选择表征。
• 证明这些约束在深度学习模型（包括变分自编码器）中可实现具有竞争力的解耦性能。

提出的方法

• 在数学上证明，在线性网络中，非负性与恒定种群方差约束可导致解耦表征，其中每个神经元最多对一个任务因子产生响应。
• 采用两阶段优化过程：首先更新表示向量 𝐳 以适应特定任务的动力学（如物体位置、路径积分），然后更新权重以实现泛化。
• 通过损失梯度实现 𝐳 的动态、连续时间更新：𝑑ℒ𝑜𝑏𝑗𝑒𝑐𝑡𝑠/𝑑𝐳 和 𝑑ℒ𝑝𝑎𝑡ℎ𝑖𝑛𝑡𝑒𝑔𝑟𝑎𝑡𝑖𝑜𝑛/𝑑𝐳，信息通过邻近神经元的更新传播。
• 应用结构化损失以确保与世界规则的一致性（如路径积分），将局部更新推广至长程或拓扑约束。
• 通过组合损失函数进行优化，包括非负性、权重衰减、活动能量和任务特定项（位置、物体、动作、路径积分），并调整超参数以保证稳定性和性能。
• 使用欧拉积分法，结合步长与梯度范数裁剪，确保在空间网格上模式形成过程中的数值稳定性。

实验结果

研究问题

• RQ1 非负性和能效效率约束如何在线性网络中导致解耦的神经表征？
• RQ2 为何大脑神经元通常仅表示单一变化因子（如空间位置或物体身份）？
• RQ3 什么解释了大脑中存在如网格细胞和物体向量细胞等特化功能细胞类型？
• RQ4 大脑在何种条件下使用解耦表征而非混合选择性表征？
• RQ5 生物约束能否在如变分自编码器等深度学习模型中产生具有竞争力的解耦性能？

主要发现

• 理论证明表明，在非负性与恒定方差约束下，线性网络中最小活动能量可导致解耦表征，其中每个神经元最多对一个任务因子产生响应。
• 实证结果证实，这些约束在多种架构（包括非线性和变分自编码器模型）中均能诱导出解耦表征。
• 该模型在标准基准测试中实现了具有竞争力的解耦得分，证明其在理论之外的实际应用价值。
• 该框架通过与强制解耦相同的生物约束，解释了特化细胞类型（如网格细胞和物体向量细胞）的出现机制。
• 通过物体和路径积分损失对表示向量 𝐳 实施动态、任务特定的更新，可实现快速、上下文敏感的表征形成。
• 该方法可推广至连续空间和任意结构规则（如拓扑、长程约束），表明其为神经系统表征世界结构提供了一种广泛适用的机制。