[論文レビュー] Enumerating Unique Computational Graphs via an Iterative Graph Invariant

Chris Ying|arXiv (Cornell University)|Feb 17, 2019

Advanced Graph Theory Research参考文献 4被引用数 7

ひとこと要約

本稿では、彩色された有向無閉路グラフ（DAG）のグラフ不変量を計算することで、同型を除く一意な計算グラフの効率的列挙を可能にする反復的グラフハッシュ化アルゴリズムを提案する。頂点の近傍構造と色に基づいて反復的にハッシュを更新することで、非同型のグラフを高い精度で区別できるが、特定の対称的反例では失敗する。この手法により、制限付きのニューラルアーキテクチャサーチワークロードにおける正確な同型性検出が可能になる。

ABSTRACT

In this report, we describe a novel graph invariant for computational graphs (colored directed acylic graphs) and how we used it to generate all distinct computational graphs up to isomorphism for small graphs. The algorithm iteratively applies isomorphism-invariant operations, which take into account the graph structure and coloring, and outputs a fixed-length hash that is identical for all isomorphic computational graphs. While the algorithm cannot perfectly distinguish all pairs of non-isomorphic computational graphs, we suggest that it may be useful as a heuristic for comparing graphs.

研究の動機と目的

• ニューラルアーキテクチャサーチにおいて同型の計算グラフを効率的に同定する手法を開発すること。
• テンソル上の演算を表す頂点に色が付いたグラフとして表現される、同型を除く異なる計算グラフの列挙という課題に対処すること。
• 頂点の彩色を伴う有向無閉路グラフに対して、計算的に効率的かつ効果的なグラフ不変量を設計すること。
• ニューラルネットワーク設計の制限付き探索空間内において、非同型のグラフを区別する際の手法の正確性を検証すること。

提案手法

• アルゴリズムは、入次数、出次数、および頂点の色に基づいて初期化された頂点ハッシュを設定する。
• 各頂点のハッシュを、そのイン・ネイバーおよびアウト・ネイバーのハッシュをソートした結果と、現在のハッシュを組み合わせることで反復的に更新する。
• 最終的なグラフハッシュは、最終的な頂点ハッシュのリストをソートしてハッシュ化することで計算され、同型性に対して不変性を確保する。
• 固定長のハッシュにMD5を使用し、ネイバーのハッシュの辞書式ソートを適用することで一貫性を維持する。
• グラフの列挙は、標準順序付けを用い、入力頂点から出力頂点へのパスにないグラフを除外することで実施する。
• 各一意なハッシュに対して標準代表元が選ばれ、同型類ごとに1つのグラフが保証される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチにおいて、彩色されたDAGの非同型を効果的に区別できる反復的グラフ不変量を設計できるか？
• RQ2 提案手法のハッシュ化法は、計算効率を保ちつつ、同型性不変性をどの程度正確に維持できるか？
• RQ3 この手法は、対称的構造を示す非同型グラフを区別する際に、どのような限界を示すか？
• RQ4 小規模なニューラルネットワークアーキテクチャにおいて、同型を除く一意な計算グラフの列挙において、この手法はどの程度有効か？
• RQ5 計算量が指数関数的に増加することなく、同型性検出における誤検出（偽陽性）を排除するために、この手法を拡張可能か？

主な発見

• 反復的グラフハッシュ化アルゴリズムは真のグラフ不変量を計算し、同型のグラフは常に同じハッシュを生成することを保証する。
• 入力が7頂点以下、9辺以下、3色以下の制限付き探索空間において、全順列テストによる検証で同型類を正しく同定した。
• 不変性を有しているにもかかわらず、均一な次数と色を持つ対称的二部グラフDAGのような特定の非同型グラフを区別できない。
• 10頂点、16辺の悪意ある反例では、頂点の部分集合が同一の次数および色分布を持つ場合に、非同型のグラフであっても同じハッシュが生成されることが示された。
• テストで同一ハッシュを持つグラフの全順列を検証した結果、ターゲットユースケースでは正確な同型性検出が達成された。
• 将来の改善策として、MD5を文字列連結に置き換えることでハッシュ衝突を排除でき、不変性を保ちつつ精度を向上できる。