[论文解读] ATOL: Measure Vectorization for Automatic Topologically-Oriented Learning

Martin Royer, Frédéric Chazal+3 more|arXiv (Cornell University)|Sep 30, 2019

Topological and Geometric Data Analysis被引用 9

一句话总结

ATOL 提出了一种快速、无监督且理论基础坚实的向量化方法，用于欧氏空间中的测度，特别针对拓扑数据分析（TDA）特征（如持久图）进行优化。通过使用自适应带宽的统计最优量化，该方法在聚类和分类任务中实现了最先进性能，且超参数调优极少，能够有效分离持久图的聚类，同时保持高效性和可解释性。

ABSTRACT

Robust topological information commonly comes in the form of a set of persistence diagrams, finite measures that are in nature uneasy to affix to generic machine learning frameworks. We introduce a fast, learnt, unsupervised vectorization method for measures in Euclidean spaces and use it for reflecting underlying changes in topological behaviour in machine learning contexts. The algorithm is simple and efficiently discriminates important space regions where meaningful differences to the mean measure arise. It is proven to be able to separate clusters of persistence diagrams. We showcase the strength and robustness of our approach on a number of applications, from emulous and modern graph collections where the method reaches state-of-the-art performance to a geometric synthetic dynamical orbits problem. The proposed methodology comes with a single high level tuning parameter: the total measure encoding budget. We provide a completely open access software.

研究动机与目标

• 为解决将拓扑特征（特别是持久图）集成到标准机器学习流水线中的挑战，这些特征与非欧几里得、基于测度的表示不兼容。
• 开发一种适用于欧氏空间中测度的向量化方法，兼具高效性与理论依据，以实现稳健的拓扑特征提取。
• 创建一种超参数调优极少且可解释的方法，无需事先了解 TDA 即可使用。
• 在涉及拓扑特征的多样化机器学习任务（包括图分类和动力系统）中，展示最先进性能。

提出的方法

• 该方法通过大小为 $ b $ 的码书对测度空间进行最优量化，其中码书中心通过无监督方式从数据中学习。
• 采用自适应对比函数 $ \tilde{\Phi}_i(x) = \exp\left(-\|x - c_i\|_2^2 / \sigma_i^2\right) $，其中带宽 $ \sigma_i $ 由测度的局部密度和方差决定。
• 向量化计算为 $ \mathbf{v} = \left( \int \tilde{\Phi}_i(x) \, d\mu(x) \right)_{i=1}^b $，将每个测度转换为低维向量。
• 校准步骤仅使用 10% 的训练数据计算码书，确保可扩展性和稳定性。
• 该方法具有可解释性：中心及其关联的对比函数揭示了具有高拓扑重要性的区域。
• 由于采用无监督中心学习和低维输出，该方法对过拟合具有鲁棒性。

实验结果

研究问题

• RQ1 能否通过一种简单、无监督的欧氏空间测度向量化方法，在拓扑机器学习任务中实现最先进性能？
• RQ2 所提出的自适应带宽方法是否在持久图的聚类与分类任务中优于固定网格或基于核的方法？
• RQ3 该方法能否在理论上证明分离持久图聚类？与更复杂的深度学习或基于核的方法相比表现如何？
• RQ4 该方法对校准比例和对比函数类型（如高斯与拉普拉斯）的选择敏感程度如何？
• RQ5 该方法在包括合成动力系统和真实世界图集合在内的多样化数据集上，泛化能力如何？

主要发现

• 在 ORBIT5K 数据集上，ATOL 在 $ b=100 $ 的预算下实现了 93.8% 的准确率，与最先进方法持平或更优。
• 在较低预算（$ b=4 $ 至 $ b=36 $）下，该方法优于固定网格基线，表明其样本效率更高。
• 仅使用 10% 的训练数据进行校准即可获得与使用 100% 数据相当的结果，证明了其鲁棒性与可扩展性。
• 自适应带宽策略在无需调优的情况下产生具有竞争力的结果，且在大多数配置中优于恒定带宽。
• 当预算超过 250 时，ATOL 和固定网格方法的准确率均超过 95%，表明空间结构本身足以精确描述问题。
• 该方法被证明能够分离持久图的聚类，而这一特性在以往的向量化技术中尚未得到证实。