[论文解读] Interesting Paths in the Mapper

Ananth Kalyanaraman, Methun Kamruzzaman+1 more|arXiv (Cornell University)|Dec 29, 2017

Topological and Geometric Data Analysis参考文献 21被引用 4

一句话总结

本文提出一种框架，通过将子群的'有趣性'建模为加权有向图中的有向路径，量化Mapper拓扑数据分析工具中子群的'有趣性'，其中边权重反映目标函数的变化，边的特征编码自变量之间的协变关系。主要贡献是针对有向无环图（DAG）设计了一种多项式时间算法，用于寻找最有趣的路径，同时证明了一般情况下该问题为NP-完全问题。

ABSTRACT

The Mapper produces a compact summary of high dimensional data as a simplicial complex. We study the problem of quantifying the interestingness of subpopulations in a Mapper, which appear as long paths, flares, or loops. First, we create a weighted directed graph G using the 1-skeleton of the Mapper. We use the average values at the vertices of a target function to direct edges (from low to high). The difference between the average values at vertices (high-low) is set as the edge's weight. Covariation of the remaining h functions (independent variables) is captured by a h-bit binary signature assigned to the edge. An interesting path in G is a directed path whose edges all have the same signature. We define the interestingness score of such a path as a sum of its edge weights multiplied by a nonlinear function of their ranks in the path. Second, we study three optimization problems on this graph G. In the problem Max-IP, we seek an interesting path in G with the maximum interestingness score. We show that Max-IP is NP-complete. For the special case when G is a directed acyclic graph (DAG), we show that Max-IP can be solved in polynomial time - in O(mnd_i) where d_i is the maximum indegree of a vertex in G. In the more general problem IP, the goal is to find a collection of edge-disjoint interesting paths such that the overall sum of their interestingness scores is maximized. We also study a variant of IP termed k-IP, where the goal is to identify a collection of edge-disjoint interesting paths each with k edges, and their total interestingness score is maximized. While k-IP can be solved in polynomial time for k <= 2, we show k-IP is NP-complete for k >= 3 even when G is a DAG. We develop polynomial time heuristics for IP and k-IP on DAGs.

研究动机与目标

• 开发一种对Mapper可视化中识别出的子群（尤其是长路径、扇形结构和环路）进行定量衡量的方法。
• 通过二进制特征编码自变量的一致协变关系，将'有趣性'的概念形式化为边权重、路径深度及自变量一致协变性的函数。
• 解决在Mapper图中识别最有趣路径及边不相交路径集合的计算挑战。
• 为实际应用提供高效算法，特别是在Mapper图是有向无环图（DAG）的场景下。

提出的方法

• 从Mapper的1-骨架构建加权有向图 $G = (V, E)$，其中顶点代表聚类，边代表聚类的交集。
• 将边从目标函数（因变量）平均值较低的节点指向较高的节点，并将边权重设为这些平均值的差值。
• 为每条边分配一个 $h$-比特二进制特征，编码 $h$ 个自变量在交集聚类中的协变关系。
• 将'有趣路径'定义为所有边具有相同特征的有向路径，以确保自变量行为的一致性。
• 将路径的'有趣性得分'定义为边权重的非线性函数，对路径中位置更深（按路径内排名）的边赋予更高权重。
• 在DAG上使用动态规划求解Max-IP问题，时间复杂度为 $O(mnd_{\text{in}})$，空间复杂度为 $O(mn)$，其中 $m$、$n$ 和 $d_{\text{in}}$ 分别表示边数、顶点数和最大入度。

实验结果

研究问题

• RQ1 我们如何形式化量化Mapper可视化中子群的'有趣性'，特别是长路径或扇形结构？
• RQ2 在具有特征约束边的Mapper图中，识别最有趣路径的计算复杂度是什么？
• RQ3 我们能否高效计算一组边不相交的有趣路径，使其总有趣性得分最大？
• RQ4 当限制路径恰好包含 $k$ 条边时，优化问题的复杂度如何变化？
• RQ5 我们能否为实际Mapper输出中的高兴趣子群开发实用启发式方法，特别是在图是DAG的情况下？

主要发现

• Max-IP问题——即在Mapper图中寻找最有趣路径——在一般情况下为NP-完全问题，但在图是DAG时可在多项式时间 $O(mnd_{\text{in}})$ 内求解。
• $k$-IP问题——即寻找 $k$ 条边、边不相交的有趣路径，使其总得分最大——当 $k \geq 3$ 时，即使在DAG上也是NP-完全问题。
• 当 $k \leq 2$ 时，$k$-IP问题可在多项式时间内求解，表明在 $k = 3$ 处存在复杂度阈值。
• 针对DAG上的IP和$k$-IP问题，开发了基于Max-IP算法作为子程序的启发式方法，时间复杂度分别为 $O(mnd_{\text{in}})$ 和 $O(mkd_{\text{in}})$。
• 该框架在玉米表型组学数据集中成功识别出具有生物学意义的子群，揭示了两条与不同地区（KS与NE）生长率差异相关的长有趣路径，且未使用位置数据作为先验信息。
• 基于该框架构建的HYPPO-X工具支持交互式探索这些路径，并在植物科学研究中促进假设生成。