[论文解读] Enumerating Unique Computational Graphs via an Iterative Graph Invariant

Chris Ying|arXiv (Cornell University)|Feb 17, 2019

Advanced Graph Theory Research参考文献 4被引用 7

一句话总结

该论文提出了一种迭代图哈希算法，用于计算带色有向无环图（DAG）的图不变量，从而实现对同构意义下唯一计算图的高效枚举。通过基于邻域结构和颜色迭代细化顶点哈希值，该方法在区分非同构图方面表现出高精度，但在某些对称反例上会失效。该方法在受限的神经架构搜索工作负载中实现了精确的同构性检测。

ABSTRACT

In this report, we describe a novel graph invariant for computational graphs (colored directed acylic graphs) and how we used it to generate all distinct computational graphs up to isomorphism for small graphs. The algorithm iteratively applies isomorphism-invariant operations, which take into account the graph structure and coloring, and outputs a fixed-length hash that is identical for all isomorphic computational graphs. While the algorithm cannot perfectly distinguish all pairs of non-isomorphic computational graphs, we suggest that it may be useful as a heuristic for comparing graphs.

研究动机与目标

• 开发一种高效方法，用于在神经架构搜索中识别同构计算图。
• 解决在图表示张量操作且顶点带色的前提下，按同构关系枚举不同计算图的挑战。
• 设计一种计算高效且适用于带顶点着色的有向无环图的图不变量。
• 验证该方法在受限神经网络设计搜索空间中区分非同构图的准确性。

提出的方法

• 算法通过入度、出度和顶点颜色初始化顶点哈希值。
• 通过使用其入边和出边邻居的哈希值的排序结果，结合当前哈希值，迭代更新每个顶点的哈希值。
• 最终通过排序并哈希最终的顶点哈希列表来计算图哈希，确保在同构下保持不变。
• 该方法使用MD5进行固定长度哈希，并对邻居哈希值应用字典序排序以保持一致性。
• 通过规范排序进行图枚举，剪枝不在从输入到输出顶点路径上的图。
• 为每个唯一哈希值选择一个规范代表，确保每个同构类仅对应一个图。

实验结果

研究问题

• RQ1 能否设计一种迭代图不变量，以在神经架构搜索中有效区分非同构的带色DAG？
• RQ2 所提出的哈希方法在保持计算效率的同时，能在多大程度上保持同构不变性？
• RQ3 该方法在区分具有对称结构的非同构图方面存在哪些局限性？
• RQ4 该方法在小规模神经网络架构中枚举同构意义下的唯一计算图时，效果如何？
• RQ5 该方法能否在不引起计算量指数级增长的前提下，扩展以消除同构性检测中的误报？

主要发现

• 该迭代图哈希算法计算出真正的图不变量，确保同构图始终产生相同的哈希值。
• 该方法在受限搜索空间（最多7个顶点、9条边、3种颜色）中正确识别了所有同构类，经完整排列测试验证。
• 尽管具有不变性，该算法仍无法区分某些非同构图，例如具有均匀度和颜色的对称二分DAG。
• 一个包含10个顶点和16条边的对抗性反例表明，当顶点分区具有相同的度和颜色分布时，该方法可能为非同构图生成相同的哈希值。
• 在目标应用场景中，该方法实现了精确的同构性检测，经对具有重复哈希值的图的所有排列进行测试验证。
• 未来改进可将MD5替换为字符串拼接，以消除哈希冲突，同时在保持不变性的同时提高精度。