[论文解读] Determining Structural Properties of Artificial Neural Networks Using Algebraic Topology.

David Pérez‐Fernández, Asier Gutiérrez-Fandiño+2 more|arXiv (Cornell University)|Jan 19, 2021

Topological and Geometric Data Analysis被引用 1

一句话总结

本文提出使用代数拓扑中的持久同调（PH）系统性地分析和表征人工神经网络（ANN）架构，揭示与深度、宽度及数据排序等结构特性相关的拓扑不变量。主要贡献在于证明了PH能有效捕捉子问题间的架构不变量与变化，从而实现更系统化、理论驱动的架构搜索方法。

ABSTRACT

Artificial Neural Networks (ANNs) are widely used for approximating complex functions. The process that is usually followed to define the most appropriate architecture for an ANN given a specific function is mostly empirical. Once this architecture has been defined, weights are usually optimized according to the error function. On the other hand, we observe that ANNs can be represented as graphs and their topological 'fingerprints' can be obtained using Persistent Homology (PH). In this paper, we describe a proposal focused on designing more principled architecture search procedures. To do this, different architectures for solving problems related to a heterogeneous set of datasets have been analyzed. The results of the evaluation corroborate that PH effectively characterizes the ANN invariants: when ANN density (layers and neurons) or sample feeding order is the only difference, PH topological invariants appear; in the opposite direction in different sub-problems (i.e. different labels), PH varies. This approach based on topological analysis helps towards the goal of designing more principled architecture search procedures and having a better understanding of ANNs.

研究动机与目标

• 为解决当前神经网络架构搜索中缺乏系统性方法的问题，该领域目前主要依赖经验性的试错法。
• 探究从持久同调中提取的拓扑不变量是否能够表征ANN的关键结构特性。
• 探索PH是否能够区分不同的网络架构及数据输入顺序。
• 评估PH是否能捕捉到不同标签子问题间的差异，表明其对任务特异性结构的敏感性。
• 为超越经验调优的基于拓扑的神经网络架构设计奠定基础。

提出的方法

• 将人工神经网络表示为加权图，其中节点对应神经元，边对应权重。
• 应用持久同调（PH）从ANN的图表示中提取拓扑不变量。
• 分析所得的持久图谱，识别反映架构特性的拓扑特征指纹。
• 比较不同深度、宽度及数据输入顺序下ANN的PH不变量，以检测结构不变性。
• 评估不同子问题（如不同类别标签）间PH差异，以评估其对任务特异性数据结构的敏感性。
• 使用拓扑数据分析（TDA）将PH特征与网络行为及架构特性相关联。

实验结果

研究问题

• RQ1 持久同调能否在改变网络密度和数据输入顺序的条件下，检测人工神经网络中的结构不变量？
• RQ2 当同一网络架构在具有不同标签的子问题上训练时，PH不变量如何变化？
• RQ3 从PH中导出的拓扑不变量在多大程度上可作为ANN架构差异的可靠指标？
• RQ4 基于PH的分析能否为神经网络设计提供一种系统性替代经验架构搜索的方法？

主要发现

• 持久同调成功识别出在仅改变网络密度（层数和神经元数）或数据输入顺序时保持稳定的拓扑不变量。
• PH不变量在不同子问题（如不同类别标签）间表现出有意义的差异，表明其对任务特异性数据结构具有敏感性。
• 从PH导出的拓扑特征指纹与架构特性相关，表明其在指导架构搜索方面具有潜力。
• PH提供了一种一致且有效的方法，用于表征ANN，超越传统指标，为网络结构提供了新见解。
• 结果验证了代数拓扑可作为更系统化、理论化神经网络架构设计的理论基础。