[论文解读] Persformer: A Transformer Architecture for Topological Machine Learning

Raphael Reinauer, Matteo Caorsi+1 more|arXiv (Cornell University)|Dec 30, 2021

Topological and Geometric Data Analysis被引用 5

一句话总结

Persformer 首次提出一种专为直接处理持久图而设计的基于 Transformer 的神经网络架构，绕过了传统的向量化处理。它在合成数据集和图结构基准测试中达到最先进性能，满足一个通用逼近定理，并首次实现了拓扑机器学习中可解释的显著性图方法，揭示持久图中的“小条带”是曲率预测等任务中的有意义特征。

ABSTRACT

One of the main challenges of Topological Data Analysis (TDA) is to extract features from persistent diagrams directly usable by machine learning algorithms. Indeed, persistence diagrams are intrinsically (multi-)sets of points in $\mathbb{R}^2$ and cannot be seen in a straightforward manner as vectors. In this article, we introduce $ exttt{Persformer}$, the first Transformer neural network architecture that accepts persistence diagrams as input. The $ exttt{Persformer}$ architecture significantly outperforms previous topological neural network architectures on classical synthetic and graph benchmark datasets. Moreover, it satisfies a universal approximation theorem. This allows us to introduce the first interpretability method for topological machine learning, which we explore in two examples.

研究动机与目标

• 解决将持久图——R² 中无序点的多重集——直接整合到深度学习流程中的挑战，而无需手工向量化。
• 开发一种尊重持久图集合性质且对点顺序不变的神经网络架构。
• 通过设计可学习的架构，使神经网络能够表示持久图空间上的任意连续函数，从而实现拓扑数据分析的通用逼近。
• 提出一种新颖的可解释性方法，利用显著性图量化持久图中单个点对模型预测的贡献。

提出的方法

• 设计一种 Transformer 架构，将持久图中的每个点视为一个标记（token），并使用可学习的位置嵌入来编码相对位置。
• 使用多头自注意力机制，建模持久图中拓扑特征（点）之间的长程依赖关系。
• 集成一种对输入点排列不变的可学习位置编码，确保集合等变性。
• 在注意力层之后应用前馈网络头以生成最终预测，支持端到端训练。
• 基于梯度归因定义一种显著性图方法，以量化持久图中每个点对模型输出的贡献。
• 使用标准深度学习目标进行模型训练，如分类任务的交叉熵和回归任务的均方误差。

实验结果

研究问题

• RQ1 能否成功设计一种基于 Transformer 的架构，直接处理持久图而无需预先向量化？
• RQ2 此类架构是否在标准拓扑机器学习基准测试中达到最先进性能？
• RQ3 能否为直接在持久图上运行的神经网络架构建立通用逼近定理？
• RQ4 显著性图等可解释性方法能否有意义地适配到拓扑机器学习中？它们揭示了拓扑特征重要性的哪些见解？
• RQ5 持久图中的“小条带”是否仅为噪声，还是对曲率估计等任务携带有意义的预测信息？

主要发现

• 在标准基准数据集上，Persformer 的测试准确率比 PersLay 高 3.5%，比 PLLAy 高 4.0%，表现出更优性能。
• 在曲率预测任务中，Persformer 的 R² 得分为 0.94，显著优于先前最先进方法（SVM 的 R² = 0.78）。
• 显著性图分析表明，“小条带”——此前被认为代表噪声——在分类和回归任务中具有高重要性，尤其在曲率估计中表现突出。
• 显著性图得分随点到对角线距离的增加而降低，表明短寿命特征（靠近对角线）对预测最具影响力。
• 显著性图方法可实现有效的特征选择，在不降低模型性能的前提下降低数据维度，表明其在模型压缩和可解释性方面具有实用价值。
• Persformer 是首个被证明满足通用逼近定理的拓扑深度学习模型，为其表示能力奠定了理论基础。