[論文レビュー] Sign and Basis Invariant Networks for Spectral Graph Representation Learning

Derek Lim, Joshua A. Robinson+5 more|arXiv (Cornell University)|Feb 25, 2022

Machine Learning in Materials Science被引用数 25

ひとこと要約

SignNetとBasisNetは、固有ベクトルの符号反転および基底変換に不変なニューラルアーキテクチャであり、固有ベクトルの関数の普遍近似を可能とし、グラフ・分子データ・メッシュ上で従来のスペクトル法を上回る。

ABSTRACT

We introduce SignNet and BasisNet -- new neural architectures that are invariant to two key symmetries displayed by eigenvectors: (i) sign flips, since if $v$ is an eigenvector then so is $-v$; and (ii) more general basis symmetries, which occur in higher dimensional eigenspaces with infinitely many choices of basis eigenvectors. We prove that under certain conditions our networks are universal, i.e., they can approximate any continuous function of eigenvectors with the desired invariances. When used with Laplacian eigenvectors, our networks are provably more expressive than existing spectral methods on graphs; for instance, they subsume all spectral graph convolutions, certain spectral graph invariants, and previously proposed graph positional encodings as special cases. Experiments show that our networks significantly outperform existing baselines on molecular graph regression, learning expressive graph representations, and learning neural fields on triangle meshes. Our code is available at https://github.com/cptq/SignNet-BasisNet .

研究の動機と目的

• グラフ表現に用いられる固有ベクトルの符号と基底の曖昧さに対処する必要性を動機づけ、形式化する。
• それぞれ符号不変性と基底不変性を実現する SignNet および BasisNet アーキテクチャを導入する。
• これらのネットワークが固有ベクトルの広いクラスの不変関数を近似できることを示す普遍性の結果を証明する。
• これらのアーキテクチャが従来のスペクトルグラフ畳み込みおよび既存の位置特徴エンコーディングを一般化し、上回ることを示す。
• 分子グラフ、グラフ表現、および三角形メッシュのニューラルフィールドにおける経験的利点を実証する。

提案手法

• 符号不変性を f(v1,...,vk) = f(s1 v1,..., sk vk) for si ∈ {−1,1} と定義し、h(v) = φ(v) + φ(−v) を生み出す φ による構成を導出する。
• 固有空間基底 V_i を用いた基底不変性を V_i Q_i で定義し、Q_i ∈ O(d_i) とし、φ_{d_i}(V_i V_i^T) を IGN (invariant graph networks) と組み合わせて置換不変性を実現する。
• SignNet を提案する： f(v1,...,vk) = ρ([φ(v_i) + φ(−v_i)]_i) 。 φ, ρ は置換同値性を持つネットとして選択する。必要に応じて固有値 λ_i とノード特徴 X で拡張する。
• BasisNet を提案する： f(V1,...,Vl) = ρ([IGN_{d_i}(V_i V_i^T)]_i) で、共有 φ_{d_i} および ρ を用い、各固有空間内での基底変更に対する不変性と置換同値性を保証する。
• 結合群不変性を各固有空間の不変性に還元する理論的分解（定理 1）を提供し、モジュラーな構成を可能にする。
• スペクトルグラフ畳み込みおよびスペクトル不変量に対する SignNet および BasisNet の普遍近似結果（命題・定理）を示す。

実験結果

リサーチクエスチョン

• RQ1 符号および基底対称性の下で、SignNet と BasisNet は固有ベクトルのすべての連続的不変関数を普遍に近似できるか？
• RQ2 SignNet と BasisNet は従来のスペクトルグラフ畳み込みおよびスペクトル GNN に対して厳密に一般化し、時には上回るか？
• RQ3 表現力と近似力の観点から、これらのネットワークと既存のグラフ位置エンコーディングとの関係はどうなるか？
• RQ4 分子グラフ回帰、グラフ表現学習、およびメッシュ上のニューラルフィールドにおける SignNet と BasisNet の実証的性能はどうか？

主な発見

• SignNet および BasisNet は、緩い条件の下で符号および基底不変性を持つ固有ベクトルの連続関数を普遍的に近似する近似器である。
• 彼らはスペクトルグラフ畳み込みを厳密に一般化し、標準的なスペクトル GNN を超えるグラフ特性を識別できる。例えば場合によっては二部図性など。
• BasisNet はグラフ角度などのスペクトル的不変量や関連するサイクル数を普遍的に近似でき、従来の不変量および WL テストと関連づく。
• SignNet はラプラシアン固有ベクトル、ヒートカーネル、およびランダムウォークに基づく多くの既存のグラフ位置エンコーディングを再現・統合できる。
• 実験結果は、ノード位置エンコーディングとして用いると SignNet が分子グラフ回帰（例: ZINC データセット）を改善し、複数のベースモデルでいくつかの最先端ベースラインよりも上回ることを示している。
• 多様体上のニューラルフィールドへの適用において、SignNet はベースラインと比べて知覚的指標で競争力があるか、あるいは優れている。