[論文レビュー] Invariant and Equivariant Graph Networks

Haggai Maron, Heli Ben-Hamu+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Graph Neural Networks被引用数 113

ひとこと要約

この論文は、(ハイパー)グラフデータに対するパーミュテーション不変性および等変性な線形層を完全に特徴付け、ベル数に基づく基底関数を提示し、メッセージパッシングネットワークに対する普遍近似力を実証します。

ABSTRACT

Invariant and equivariant networks have been successfully used for learning images, sets, point clouds, and graphs. A basic challenge in developing such networks is finding the maximal collection of invariant and equivariant linear layers. Although this question is answered for the first three examples (for popular transformations, at-least), a full characterization of invariant and equivariant linear layers for graphs is not known. In this paper we provide a characterization of all permutation invariant and equivariant linear layers for (hyper-)graph data, and show that their dimension, in case of edge-value graph data, is 2 and 15, respectively. More generally, for graph data defined on k-tuples of nodes, the dimension is the k-th and 2k-th Bell numbers. Orthogonal bases for the layers are computed, including generalization to multi-graph data. The constant number of basis elements and their characteristics allow successfully applying the networks to different size graphs. From the theoretical point of view, our results generalize and unify recent advancement in equivariant deep learning. In particular, we show that our model is capable of approximating any message passing neural network Applying these new linear layers in a simple deep neural network framework is shown to achieve comparable results to state-of-the-art and to have better expressivity than previous invariant and equivariant bases.

研究の動機と目的

• 対称性（パーミュテーション不変性/等変性）を考慮したグラフ/ハイパーグラフでの学習の動機付け。
• テンソルで表現されたグラフデータに対する不変および等変線形層の全空間を特徴付ける。
• 計算可能な直交基底を提供し、基底の最大性とサイズ依存性なし（n）を示す。
• モデルが任意のメッセージパッシングニューラルネットワークを近似できることを示し、グラフタスクで競争力を示す。

提案手法

• パーミュテーション不変性（L vec(A) が P^{⊗k} の下で不変）および等変性（L vec(A) が P^{⊗2k} の下で不変）の固定点方程式を導出する。
• インデックス集合の等式パターン分割を用いて解空間を特徴付け、Bell-numberサイズの基底 B^{γ} を導く。
• 解空間を張るための明示的な不変/等変基底テンソル B^{γ} と C^{λ}（およびそれらのマルチセット/一般化形）を構築する。
• バイアスを持つ層や特徴量を持つ層へ拡張し、明示的なパラメータ数と基底形を導出する（定理2）。
• マルチセットノード分割と混合次数テンソルへ一般化し、不変の次元を ∏ b(k_i)、等変の次元を ∏ b(k_i+l_i) とする。
• モデルが任意のメッセージパッシングニューラルネットワークを近似できることを示して普遍性を論じる。

実験結果

リサーチクエスチョン

• RQ1 グラフ/ハイパーグラフデータに対するパーミュテーション不変性/等変性線形層の最大次元はいくつか？
• RQ2 グラフサイズ n に依存せず、すべての不変/等変線形層を張る直交基底を構築できるか？
• RQ3 不変/等変層が既存のグラフネットワーク（メッセージパッシングモデルを含む）の表現力を包含または一致するか？
• RQ4 バイアスとノード機能が不変/等変線形層フレームワークにどう組み込まれるか？
• RQ5 提案された基底は、サイズ依存性を保ったまま、マルチノード集合および混合次数テンソルへ一般化できるか？

主な発見

• 不変線形層 R^{n^k} -> R の空間の次元は b(k)（k のベル数）である。
• 不変線形層 R^{n^k} -> R^{n^k} の空間の次元は b(2k)。
• エッジ値グラフ（k=2）の場合、不変層の次元は 2、等変層の次元は 15、n に依存しない。
• 本論文は、これらの空間を張る明示的な直交基底 B^{γ} および C^{λ}（およびそれらのバイアス付き変種）を提供する。
• フレームワークはマルチグラフ/マルチセットの状況および混合次数写像へ拡張され、次元は ∏ b(k_i) および ∏ b(k_i+l_i) となる。
• 付録の結果は、モデルが任意のメッセージパッシングニューラルネットワークを近似できることを示し、この不変/等変線形層パラダイム内で普遍近似性を確立している。