[論文レビュー] Message passing all the way up

Petar Veličković|arXiv (Cornell University)|Feb 22, 2022

Advanced Graph Neural Networks被引用数 15

ひとこと要約

この論文は、多くの現代のグラフニューラルネットワーク（GNN）が『メッセージパッシングを超える』と主張しているが、実際には変更されたグラフ構造上でメッセージパッシングに依存しており、根本的にその枠組みを脱却しているわけではないと主張する。したがって、これらの手法は本質的にペairwiseメッセージパッシングを用いているが、変換されたグラフや強化されたメッセージ関数を介して実装されているにすぎない。そのため、『メッセージパッシングを超える』という誤解を招く用語の代わりに、『拡張メッセージパッシング』という用語を採用することで、より正確に表現できると提言する。

ABSTRACT

The message passing framework is the foundation of the immense success enjoyed by graph neural networks (GNNs) in recent years. In spite of its elegance, there exist many problems it provably cannot solve over given input graphs. This has led to a surge of research on going "beyond message passing", building GNNs which do not suffer from those limitations -- a term which has become ubiquitous in regular discourse. However, have those methods truly moved beyond message passing? In this position paper, I argue about the dangers of using this term -- especially when teaching graph representation learning to newcomers. I show that any function of interest we want to compute over graphs can, in all likelihood, be expressed using pairwise message passing -- just over a potentially modified graph, and argue how most practical implementations subtly do this kind of trick anyway. Hoping to initiate a productive discussion, I propose replacing "beyond message passing" with a more tame term, "augmented message passing".

研究の動機と目的

• グラフ表現学習、特に教育的文脈において広く使われている『メッセージパッシングを超える』という用語の使用を是正すること。
• 任意の表現力を持つGNN関数が、修正されたグラフ構造上のペアワイズメッセージパッシングによって表現可能であることを示すこと。
• 高次の操作を用いる多くの先進的なGNNが、実際には隠れた形でメッセージパッシングを実装していることの実証。
• 現代のGNNにおいてメッセージパッシングが依然として中心的役割を果たしていることを認識するためのより正確な用語の導入を提唱すること。
• GNNの教育および研究における明確性と正確性を高めるために、用語に関するコミュニティ全体の議論を開始すること。

提案手法

• 表現力を持つGNNを、新たなノードやエッジが高次構造（例：部分グラフ、k-タプル）を表すように変換されたグラフ上のメッセージパッシングとして再定式化する。
• 数学的構成を用いて、高次または等変換GNNによって計算可能な任意の関数が、修正されたグラフ上のペアワイズメッセージパッシングとして表現可能であることを示す。
• ライングラフやエッジベースのノードの概念を用い、マロンらの研究における基底層（basis layers）などの行列演算をエッジノード上のメッセージパッシングとして表現する。
• 置換に敏感な集約やテンソルベースのメッセージ関数といった複雑な操作が、構造化されたノード／エッジ拡張を介したメッセージパッシングによって模倣可能であることを示す。
• 既存の手法（例：高次GNN、等変換GNN）を構造的変換の観点からメッセージパッシングの枠組みで再評価し、隠れた同等性を明らかにする。
• 『メッセージパッシングを超える』という用語の代わりに、より正確で誤解を招きにくい『拡張メッセージパッシング』という用語を提唱する。

実験結果

リサーチクエスチョン

• RQ1 すべての表現力を持つGNN関数は、修正されたグラフ構造上のペアワイズメッセージパッシングのみで表現可能か？
• RQ2 『メッセージパッシングを超える』GNNは、どれほど本質的にメッセージパッシングのプリミティブを隠れた形で依存しているのか？
• RQ3 なぜ『メッセージパッシングを超える』という用語は、グラフ表現学習の初心者にとって誤解を招くのか？
• RQ4 高次および等変換GNNは、構造的変換の観点から見た場合、メッセージパッシングフレームワークとどのように関係しているか？
• RQ5 現代の表現力を持つGNNの実際のメカニズムをより正確に反映するが、メッセージパッシングからの離脱を誇張しない代替用語は何か？

主な発見

• グラフ上で計算可能な任意の関数は、原則として修正されたグラフ構造上のペアワイズメッセージパッシングのみで表現可能である。
• 高次または等変換操作を用いる多くの強力なGNNは、実際にはエッジノードや部分グラフガジェットといった構造的変更を伴うメッセージパッシングを実装している。
• 置換に敏感な集約や等変換GNNにおける行列乗算といった複雑な操作ですら、拡張されたノード集合上のメッセージパッシングによって模倣可能である。
• 『メッセージパッシングを超える』という用語は誤解を招く。なぜなら、これはメッセージパッシングからの根本的脱却を示唆するが、現行の多くの手法はそれらを達成していないからである。
• 提唱された用語『拡張メッセージパッシング』は、現代のGNNがメッセージパッシングを構造的・機能的変更によって強化しているが、それを置き換えるものではないという現実をより正確に反映している。
• 『超える』から『拡張』への概念的転換は、教育的アプローチの改善と、グラフ表現学習分野における研究の方向性を明確にするのに寄与する。