[论文解读] Computing persistent homology of directed flag complexes

Daniel Luetgehetmann, Dejan Govc+2 more|arXiv (Cornell University)|Jun 25, 2019

Topological and Geometric Data Analysis参考文献 9被引用 5

一句话总结

本文介绍了 Flagser，一个用于计算大规模有限有向图导出的有向旗复形的持久同调的高性能软件包。基于 Ripser 构建并针对可扩展性进行了优化，Flagser 能够高效构建有向旗复形并计算持久同调，支持用户自定义过滤、近似同调以及奇数特征系数——在合理的时间和内存消耗内处理了包含最多 1000 万个神经元的脑微电路模型。

ABSTRACT

We present a new computing package Flagser, designed to construct the directed flag complex of a finite directed graph, and compute persistent homology for flexibly defined filtrations on the graph and the resulting complex. The persistent homology computation part of Flagser is based on the program Ripser [Bau18a], but is optimized specifically for large computations. The construction of the directed flag complex is done in a way that allows easy parallelization by arbitrarily many cores. Flagser also has the option of working with undirected graphs. For homology computations Flagser has an Approximate option, which shortens compute time with remarkable accuracy. We demonstrate the power of Flagser by applying it to the construction of the directed flag complex of digital reconstructions of brain microcircuitry by the Blue Brain Project and several other examples. In some instances we perform computation of homology. For a more complete performance analysis, we also apply Flagser to some other data collections. In all cases the hardware used in the computation, the use of memory and the compute time are recorded.

研究动机与目标

• 解决神经科学中大规模有向图（如重建的脑微电路）分析中的计算瓶颈问题，此前由于内存和时间限制，持久同调计算不可行。
• 开发一种软件工具，能够高效且并行地从大规模有向图的邻接矩阵构建有向旗复形。
• 在图及其生成的复形上支持灵活的过滤策略，以适应多样化的拓扑数据分析工作流。
• 引入近似同调计算模式，显著缩短运行时间，同时保持高精度。
• 支持在奇数特征域上的同调计算，以拓展拓扑分析应用的适用范围。

提出的方法

• 使用基于顶点和边权重的过滤策略，从有限有向图构建有向旗复形，支持用户自定义过滤。
• 通过修改约化和余边界计算算法，优化基于 Ripser 的持久同调计算流程，以适应大规模数据集。
• 使用任意数量的 CPU 核心并行构建旗复形，以提升可扩展性。
• 集成近似同调计算功能，可在用户定义的误差容限内计算贝蒂数和持久同调。
• 支持在奇素数域上的同调计算，扩展了对标准 Z/2Z 系数之外的应用支持。
• 提供模块化软件栈，包含多个适配版本（如 Flagser-count、Deltser、Tournser），以支持特定用例，如单纯复形和图 tournaments。

实验结果

研究问题

• RQ1 能否高效计算源自大规模脑微电路重建的有向旗复形的持久同调？
• RQ2 在处理包含数百万个顶点和边的超大规模有向图时，Flagser 的性能与现有工具相比如何？
• RQ3 在大型拓扑复形上，近似同调计算在多大程度上能显著缩短运行时间，同时保持精度？
• RQ4 过滤灵活性对神经回路等复杂网络结构分析的影响如何？
• RQ5 Flagser 是否能够扩展以处理由大型神经网络模型产生的极高维单纯复形？

主要发现

• Flagser 在笔记本电脑上仅用不到 30 秒即完成了对大鼠新皮层柱（3 万个顶点，800 万个边）的有向旗复形构建，而此前在高性能计算（HPC）系统上需要数天时间。
• 在相同的大鼠新皮层模型上，使用 95% 精度的同调近似计算，将计算时间从数天缩短至仅数小时。
• 对于完整的小鼠皮层 PL 区域（6.4 万个神经元，1750 万个局部连接），Flagser 成功处理了包含 1.1 万亿个 11 维单纯形的复形，展示了对高维复形的可扩展性。
• 在 256 个 CPU 上，Flagser 用 1GB 内存在 10 个 24 小时任务内完成了对 170 万个顶点、110 亿条边的躯体感觉皮层模型的计算，总耗时 5 天。
• Flagser 的适配版本在 256 个核心上处理了四个大规模真实网络（YouTube、Facebook、德克萨斯/加利福尼亚道路网络），运行时间在 3 至 48 分钟之间，内存使用量低于 41GB。
• 图 tournaments 变体（Tournser）成功计算了有向图中 tournaments 的持久同调，支持自然过滤，并可扩展至其他过滤方案。