[论文解读] Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation

Antonino Marcianò, Emanuele Zappala+6 more|arXiv (Cornell University)|Oct 25, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出深度神经网络（DNNs）是拓扑量子神经网络（TQNNs）的半经典极限，其中泛化能力源于拓扑不变量与量子路径优化。通过将DNNs视为TQNNs的经典极限，该模型通过拓扑结构优化解释了泛化与过拟合现象，为DNN行为提供了原则性、非经验性的理论解释。

ABSTRACT

Deep Neural Networks miss a principled model of their operation. A novel framework for supervised learning based on Topological Quantum Field Theory that looks particularly well suited for implementation on quantum processors has been recently explored. We propose using this framework to understand the problem of generalisation in Deep Neural Networks. More specifically, in this approach, Deep Neural Networks are viewed as the semi-classical limit of Topological Quantum Neural Networks. A framework of this kind explains the overfitting behavior of Deep Neural Networks during the training step and the corresponding generalisation capabilities. We explore the paradigmatic case of the perceptron, which we implement as the semiclassical limit of Topological Quantum Neural Networks. We apply a novel algorithm we developed, showing that it obtains similar results to standard neural networks, but without the need for training (optimisation).

研究动机与目标

• 为解决深度神经网络（DNNs）中缺乏原则性泛化模型的问题，DNNs通常被视为黑箱。
• 解决DNNs在高容量和过拟合倾向下仍能泛化的根本性谜题。
• 建立一个将DNNs与拓扑量子场论及量子神经网络（TQNNs）联系起来的理论框架。
• 提供一种非经验性、理论基础坚实的泛化解释，使性能验证可超越经验测试。
• 在量子拓扑、量子场论与深度学习之间建立桥梁，以提升人工智能的可解释性与可信度。

提出的方法

• 将DNNs建模为拓扑量子神经网络（TQNNs）的半经典极限，其中经典行为源自量子路径积分。
• 使用拓扑不变量——如链接数、纽结数和2-复形不变量——作为泛化的核心编码机制。
• 通过TQN2C（拓扑量子神经2-复形）的路径积分表示形式化TQNN分类器，通过最小化经典作用量实现最优泛化。
• 将希尔伯特空间维数（自旋表示）类比为辐射频率，将数据集大小类比为光子强度，建立光电效应类比。
• 在隐藏层中实现顶点结构，通过输入数据的对偶图选择，实现TQNN态的拓扑图变换演化。
• 通过优化量子数与拓扑参数以稳定路径积分，其中度量参数在经典极限中充当宏观阈值。

实验结果

研究问题

• RQ1 如何通过原则性、非经验性的理论框架解释DNNs中的泛化？
• RQ2 拓扑不变量在神经网络泛化中起到何种作用？
• RQ3 拓扑量子神经网络的半经典极限如何再现DNN的行为？
• RQ4 为何DNNs在高容量和训练过程中存在过拟合倾向的情况下仍能有效泛化？
• RQ5 泛化过程能否如Zhang等人所建议的那样，与模型正则化和标签集维度分离？

主要发现

• DNNs中的泛化源于TQNN框架中拓扑不变量与量子路径选择的优化，而非度量或正则化参数。
• TQNN的半经典极限自然再现了DNN行为，经典路径主导路径积分，解释了为何有限训练数据足以实现泛化。
• 训练过程中的过拟合对应于量子域中非经典路径的贡献，这些贡献在半经典极限中被抑制。
• 该模型独立于标签集维度解释了泛化，与Zhang等人（2017年）的实证发现一致。
• 该框架通过拓扑稳定性为泛化边界提供了理论基础，表明决定泛化的因素是拓扑结构而非权重复杂度。
• 光电效应类比——其中数据集大小扮演光子数的角色，希尔伯特空间维数扮演频率的角色——为泛化动态提供了新颖的物理直觉。