[論文レビュー] Building powerful and equivariant graph neural networks with structural message-passing

Clément Vignac, Andreas Loukas+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks被引用数 23

ひとこと要約

本論文は、構造的メッセージパッシング（SMP）を提案する。SMPは、特徴量に加えてワンホットノード符号化を伝搬させることで学習可能な局所的文脈行列を構築する、強力で置換同変性を満たすグラフニューラルネットワークである。SMPは、分子グラフ回帰（ZINC）において最先端の性能を達成し、合成グラフにおける巡回性や接続性といったトポロジカル性質の検出においても、先行手法を上回る性能を示す。

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

研究の動機と目的

• 標準的なメッセージパッシングGNNの表現力が限られていること、特に接続性、巡回性、クラスタ係数といった基本的なグラフトポロジカル性質を学習できないことに対処する。
• 同変性GNNにおける表現力と一般化性能のトレードオフを克服するため、ノード識別子を破壊せずに同変性を保つ構造的で置換同変性を満たすメカニズムを導入する。
• 局所的文脈行列を構築することで帰納的推論を可能にする。この行列はワンホット符号化の選択に依存せず、未観測のグラフ構造への一般化を向上させる。
• 局所性の帰納的バイアスと計算効率を維持しつつ、MPNNよりも厳密に表現力が強いメッセージパッシングフレームワークを設計する。
• 専門的な化学特徴量を用いないまま、実世界の分子グラフ回帰と合成トポロジー課題の両方で最先端の性能を示す。

提案手法

• 各ノードに局所的文脈行列を導入し、ノードのワンホット符号化と特徴量で初期化することで、豊富な局所的トポロジカルおよび特徴情報の捕捉を可能にする。
• 置換同変性を維持するメッセージパッシング機構を伝搬させる：ノードの順序を入れ替えると行列の行が置換されるが、内容は変化しない。これにより同変性が保証される。
• 二段階のメッセージパッシング更新を採用する。第一段階では、学習可能な重みと残差接続を用いて局所的文脈の変換表現を計算する。第二段階では、学習可能な同変操作を用いて隣接ノードからのメッセージを集約する。
• メッセージ関数と更新関数をノード順序に依存しないように設計することで、置換同変性を確保する。これには、行列乗算やテンソルの要素演算などの行列演算を用いる。
• 残差接続を活用して、隣接行列、恒等行列、すべての要素が1の行列といった重要な構造的コンponentsを層を跨いで保持する。これにより、安定した学習とグローバル構造情報へのアクセスが可能になる。
• モデルをグラフ構造上の学習可能な同変関数として形式化し、強力な層を用いることでSMPが同変関数の空間において計算的に万能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 MPNNよりも厳密に表現力が強く、置換同変性と一般化性能を維持できるメッセージパッシングGNNアーキテクチャを設計できるか？
• RQ2 構造的かつ同変的にワンホットノード符号化を用いることで、巡回性や接続性といった基本的なグラフトポロジカル性質をモデルが学習できるか？
• RQ3 提案された構造的メッセージパッシングフレームワークは、特に帰納的推論タスクにおいて、未観測のグラフ構造への一般化性能が従来の同変モデルを上回るか？
• RQ4 専門的な化学特徴量に依存せず、SMPが分子グラフ回帰で最先端の性能を達成できるか？
• RQ5 PPGN や Ring-GNN といった他の強力なGNNと比較して、SMPの計算効率と学習安定性はどのように異なるか？

主な発見

• SMPは、専門的特徴量を用いない手法の中でZINC分子グラフ回帰ベンチマークで最先端の性能を達成し、優れた一般化性能と特徴量・トポロジカル構造の統合を示している。
• 合成グラフタスクにおいて、SMPは全テスト設定で巡回性を正しく検出している。一方、他の強力なモデル（例：Ring-GNN）は大きなグラフでは失敗し、MPNNは完全に失敗しており、SMPの優れた表現力が浮き彫りになる。
• SMPは学習安定性と収束速度においてPPGNとRing-GNNを上回っており、1エポックあたりの学習時間はPPGNと同等であり、Ring-GNNに比べ2〜3倍速い。
• モデルは最短経路距離や直径を正確に計算する能力を学習しており、局所的メッセージパッシングによってグローバル構造的性質を捉える能力を示している。
• SMPの局所的文脈行列により帰納的推論が可能になる。表現は使用する特定のワンホット符号化に依存せず、未観測のノード順序や構造への一般化が向上する。
• 理論的分析により、強力な層を用いることでSMPが同変関数の空間において計算的に万能であることが示され、MPNNを上回る表現力を有することが証明された。