[论文解读] Can neural networks learn persistent homology features?

Guido Montúfar, Nina Otter+1 more|arXiv (Cornell University)|Nov 30, 2020

Topological and Geometric Data Analysis被引用 4

一句话总结

本文研究了神经网络是否能够从栅格图像中学习近似持久同调特征——特别是热带坐标和靠近对角线的点的二值指示变量——的能力。基于MNIST和CIFAR-10数据集，作者训练卷积神经网络（CNN）和图神经网络（GNN）直接从图像预测这些拓扑特征，实现了高精度，并且推理速度显著快于传统的持久同调图计算方法，表明深度学习可以有效替代昂贵的拓扑计算，用于下游任务。

ABSTRACT

Topological data analysis uses tools from topology -- the mathematical area that studies shapes -- to create representations of data. In particular, in persistent homology, one studies one-parameter families of spaces associated with data, and persistence diagrams describe the lifetime of topological invariants, such as connected components or holes, across the one-parameter family. In many applications, one is interested in working with features associated with persistence diagrams rather than the diagrams themselves. In our work, we explore the possibility of learning several types of features extracted from persistence diagrams using neural networks.

研究动机与目标

• 研究神经网络是否能够直接从图像预测持久同调特征，绕过传统且计算成本高昂的图谱计算流程。
• 评估CNN和GNN在近似持久同调图中关键拓扑特征（如热带坐标和靠近对角线的点的二值指示）方面的性能。
• 将学习到的特征的推理速度与标准持久同调图计算方法进行比较，评估其在下游机器学习任务中的实际应用价值。
• 探索使用神经网络作为拓扑特征提取在数据分析流程中的替代方案的可行性。

提出的方法

• 该方法采用如下流程：输入图像 → 构建立方复形 → 构建过滤后的立方复形 → 构建边界矩阵 → 通过矩阵约化计算持久同调图。
• 从持久同调图中提取持久同调特征，包括热带坐标（例如，距对角线的平均距离）以及距离对角线在特定范围内的点的二值指示变量。
• 训练神经网络（CNN和GNN）直接将原始图像或中间表示（如立方复形）映射到这些拓扑特征。
• 对于图像到特征的回归任务，使用早停法和衰减学习率训练CNN；对于基于图的任务，使用GCN和GIN模型处理过滤后的立方复形矩阵。
• 损失函数包括用于分类任务的多分类交叉熵，以及用于热带坐标回归的均方误差。
• 通过比较基于GUDHI的传统图谱计算的运行时间与使用训练好的神经网络的推理时间，评估计算效率。

实验结果

研究问题

• RQ1 神经网络能否有效学习从原始图像中预测持久同调特征（如热带坐标和二值指示变量）？
• RQ2 基于神经网络的特征预测性能与推理速度相较于传统持久同调图计算方法如何？
• RQ3 使用原始图像作为输入是否比使用中间表示（如立方复形）能获得更好的特征预测效果？
• RQ4 所学习的特征在多大程度上具有稳定性，并适用于分类等下游任务？

主要发现

• GCN模型在CC-MNIST和FCC-MNIST数据集上对持久同调图中是否存在长度介于0.1至0.3之间的条带的分类任务中，测试准确率约为75%，优于GIN模型（51–53%）。
• 在MNIST数据集上进行热带坐标回归时，五个坐标的相对测试MSE在0.000465至0.048468之间，其中对角线距离最远的两个点的总距离误差最低。
• 在CIFAR-10数据集上，热带坐标的相对测试MSE范围为0.00218928至0.00636546，表明回归性能优异。
• 神经网络的推理时间显著快于基于GUDHI的传统持久同调图计算，为拓扑特征提取提供了实际的加速效果。
• 在CIFAR-10上，用于条带预测的CNN模型在0.15和0.3阈值下的测试准确率均超过80%，表明其在二分类任务中具有强大的泛化能力。
• 结果表明，神经网络能够学习到稳定且信息丰富的拓扑特征，提示其在数据科学工作流中作为持久同调计算的可行替代方案。