[論文レビュー] Graph Homomorphism Convolution

Hoang Nt, Takanori Maehara|arXiv (Cornell University)|May 3, 2020

Advanced Graph Neural Networks参考文献 46被引用数 5

ひとこと要約

本稿では、パターングラフ族 𝒮 からのホモモルフィズム数を用いて不変かつ表現力のある埋め込みを生成する、グラフ分類のための新規な手法であるグラフホモモルフィズム畳み込み（GHC）を提案する。本手法は、𝒮-不変関数を近似する普遍性を証明し、特に 𝒮 が有界な木幅を持つ場合、GNN よりも著しく高速な推論を実現する。ベンチマークデータセットにおいても最先端の性能を示している。

ABSTRACT

In this paper, we study the graph classification problem from the graph homomorphism perspective. We consider the homomorphisms from $F$ to $G$, where $G$ is a graph of interest (e.g. molecules or social networks) and $F$ belongs to some family of graphs (e.g. paths or non-isomorphic trees). We show that graph homomorphism numbers provide a natural invariant (isomorphism invariant and $\mathcal{F}$-invariant) embedding maps which can be used for graph classification. Viewing the expressive power of a graph classifier by the $\mathcal{F}$-indistinguishable concept, we prove the universality property of graph homomorphism vectors in approximating $\mathcal{F}$-invariant functions. In practice, by choosing $\mathcal{F}$ whose elements have bounded tree-width, we show that the homomorphism method is efficient compared with other methods.

研究の動機と目的

• グラフホモモルフィズム数に基づく、パラメータ化可能な帰納的バイアスを持つ実用的で理論的根拠を有するグラフ分類手法の開発。
• 理論的普遍近似器（例：テンソル化モデル）と実用的モデル（例：GNN）の間のギャップを埋めるために、表現力がパターングラフ族 𝒮 の選択によって明示的に制御される手法を導入する。
• Stone-Weierstrass定理を用いて、ホモモルフィズムに基づく埋め込みの表現力に関する理論的基盤を確立する。
• 合成およびベンチマークデータセットにおける実験的検証を通じて、従来のGNNと比較して優れた性能と効率性を示す。
• ホモモルフィズムに基づく特徴量が、1-WL や他のGNNでは区別できないグラフ（例：共スペクトル的または同型なグラフ）を区別できることを示す。

提案手法

• 固定されたパターングラフ族 𝒮 からターゲットグラフ G へのホモモルフィズム数を計算し、ベクトル埋め込み ρ(G) ∈ ℝ^|𝒮| を形成する。
• 族 𝒮 の要素が有界な木幅を持つように選択され、これによりホモモルフィズム数の計算が多項式時間で可能になる。
• グラフ同型に対して不変であるため、同型なグラフは同一の表現を生成する。
• 本手法は Stone-Weierstrass 定理を活用し、有界サイズのグラフ上で任意の連続的 𝒮-不変関数を、ホモモルフィズムベクトルが普遍的に近似可能であることを証明する。
• 頂点特徴を伴うグラフの場合、ホモモルフィズム計算に特徴依存の重みを組み込むことで、埋め込みを拡張する。
• 木分解に基づく動的計画法を用いて効率的に実装され、木幅が有界な場合、線形または多項式時間での計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 パターングラフ族からのホモモルフィズム数が、普遍的で不変かつ効率的なグラフ分類のための埋め込みとして機能できるか？
• RQ2 ホモモルフィズム埋め込みの表現力は、パターン族 𝒮 の選択にどのように依存するか？
• RQ3 ホモモルフィズムに基づく埋め込みは、1-WL や他のGNNでは区別できないグラフ（例：共スペクトル的または同型なグラフ）を区別できるか？
• RQ4 特に大規模または複雑なグラフにおいて、ホモモルフィズム手法の計算効率は最先端のGNNと比較してどの程度か？
• RQ5 ホモモルフィズムベクトルは、𝒮-同型に依存しない任意の連続関数を近似可能であり、その条件は何か？

主な発見

• ホモモルフィズムベクトルは、Circular Skip Links (CSL) データセットで100%の正確度を達成したが、GIN、リレーショナルプーリング、およびOrder 2 G-不変モデルは、表現力の制限により、10%〜80%の変動的な性能を示した。
• Paulus グラフデータセット（14個の非同型で、共スペクトル的かつ強正則なグラフ）では、GHCでホモモルフィズムを100番目まで使用しても、ランダム推測（7.14%）を超える正確度を達成できず、現在の学習ベースの手法の根本的な限界を示している。
• MUTAG、IMDB-BINARY、IMDB-MULTI ベンチマークデータセットでは、GHCがGNNと同等または優れた正確度を達成し、分散が小さく、推論時間が速い。
• GHCの実行時間は、他の実用的GNNモデルと比較して顕著に高速であり、線形スケーラビリティを示し、並列化の可能性を有している。
• 理論的分析により、有界サイズのグラフ上で任意の連続的 𝒮-不変関数を近似する点で、ホモモルフィズムベクトルが普遍的であることが証明された。ただし、やや弱い位相的仮定を課す。
• 本手法の普遍性結果は、ホモモルフィズム数を計算可能な任意のモデルに拡張可能であり、GHCがグラフ学習における表現力の基礎的ベンチマークを提供することを示唆している。