[論文レビュー] Building powerful and equivariant graph neural networks with message-passing

Clément Vignac, Andreas Loukas+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks参考文献 23被引用数 5

ひとこと要約

本論文は、局所的文脈行列を構築するために、ノード特徴量に加えてノードのワンホットエンコーディングを伝搬させることで表現力と置換等長性を向上させる、新しいメッセージパッシンググラフニューラルネットワークを提案する。この手法は、分子グラフ回帰（ZINC）において最先端の性能を達成し、合成データ上でのトポロジー的グラフ特性の正確な予測を可能にする。

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

研究の動機と目的

• 既存のメッセージパッシングGNNの表現力が、グラフの基本的トポロジー的性質を捉えるのに限界を示す問題に対処すること。
• 構造的なメッセージ関数および更新関数のパrametrizationを通じて、GNNにおける置換等長性を強化すること。
• 特定のワンホットエンコーディングの選択に依存しない表現を実現することで、帰納的推論を可能にすること。
• 特に合成グラフおよび分子グラフ設定において、グラフ表現学習タスクの一般化とパフォーマンスを向上させること。

提案手法

• ノード特徴量に加えてノードのワンホットエンコーディングを伝搬させ、各ノードに対して局所的文脈行列を構築する。
• 局所的文脈行列を用いて、プーリングによりノード表現を豊かにすることで、特徴量とトポロジー的情報の両方を捉える。
• 置換等長性を保証するため、特定のパrametrizationを施したメッセージ関数および更新関数を設計する。
• ワンホットエンコーディングの選択に依存しない表現を採用することで、帰納的推論とより良い一般化を支援する。
• このフレームワークを、合成グラフのトポロジー予測および実世界の分子グラフ回帰タスクの両方へ適用する。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングGNNが、接続性やサイクル検出といったトポロジー的グラフ特性を学習する際に、より強力にできるか。
• RQ2 GNNの表現力の大幅な向上を図る中で、置換等長性をどのように維持できるか。
• RQ3 ワンホットエンコーディング伝搬を組み込むことで、一般化および帰納的推論にどの程度寄与するか。
• RQ4 このフレームワークは、ZINCのようなベンチマーク分子グラフ回帰データセットで最先端のパフォーマンスを達成できるか。

主な発見

• 提案手法は、ZINC分子グラフ回帰ベンチマークで最先端のパフォーマンスを達成した。
• 合成データ上でのさまざまなグラフトポロジー的性質の予測において、先行手法よりも高い精度を示した。
• ワンホットエンコーディング伝搬の導入により、より豊かな局所的構造的文脈をモデルが学習可能になった。
• メッセージ関数および更新関数のパrametrizationにより、強い置換等長性が保証された。