[論文レビュー] Weisfeiler and Lehman Go Cellular: CW Networks

Cristian Bodnar, Fabrizio Frasca+5 more|arXiv (Cornell University)|Jun 23, 2021

Machine Learning in Materials Science参考文献 70被引用数 6

ひとこと要約

本稿では、メッセージパッシングを正則セル複体に一般化することで、階層的かつ証明可能に表現力がより高い標準GNNよりも優れた学習を可能にする、新しいグラフニューラルネットワークフレームワークであるCWネットワーク（CWN）を提案する。分子グラフを環（2セル）を用いてセル複体に昇格させることで、CWNは分子グラフベンチマークで最先端の性能を達成し、ZINCでは0.079のMAEを達成するとともに、構造的複雑性に対して高いロバスト性を示す。

ABSTRACT

Graph Neural Networks (GNNs) are limited in their expressive power, struggle with long-range interactions and lack a principled way to model higher-order structures. These problems can be attributed to the strong coupling between the computational graph and the input graph structure. The recently proposed Message Passing Simplicial Networks naturally decouple these elements by performing message passing on the clique complex of the graph. Nevertheless, these models can be severely constrained by the rigid combinatorial structure of Simplicial Complexes (SCs). In this work, we extend recent theoretical results on SCs to regular Cell Complexes, topological objects that flexibly subsume SCs and graphs. We show that this generalisation provides a powerful set of graph "lifting" transformations, each leading to a unique hierarchical message passing procedure. The resulting methods, which we collectively call CW Networks (CWNs), are strictly more powerful than the WL test and not less powerful than the 3-WL test. In particular, we demonstrate the effectiveness of one such scheme, based on rings, when applied to molecular graph problems. The proposed architecture benefits from provably larger expressivity than commonly used GNNs, principled modelling of higher-order signals and from compressing the distances between nodes. We demonstrate that our model achieves state-of-the-art results on a variety of molecular datasets.

研究の動機と目的

• 標準GNNの表現力に限界があること、特にWeisfeiler-Lehman（WL）テストと同等以上の表現力にとどまることを解決する。
• 固定された単体的複体に依存する既存のモデル（例：メッセージパッシング単体的ネットワーク（MPSNs））の制限を克服する。
• セル複体を用いて、計算構造と入力グラフ構造を分離する柔軟で階層的なメッセージパッシングフレームワークを構築する。
• 化学的環などの高次構造を原理的かつ明示的にモデル化できるようにする。
• 誘導サイクルに基づく新しい昇格変換を用いて、分子グラフデータセットで最先端の性能を示す。

提案手法

• 正則セル複体（CW複体）上で動作するメッセージパッシングフレームワークを提案し、単体的複体を一般化して柔軟な高次元構造を許容する。
• 入力グラフを、分子グラフにおける誘導サイクル（環）に対応する2セルを追加することで、セル複体に変換する「昇格」変換を導入する。
• 0セル（ノード）、1セル（エッジ）、2セル（環）の異なる次元のセル間で階層的メッセージパッシングを実行し、顔の順序集合における近隣関係に基づいて更新を行う。
• 結果として得られるCWネットワークの表現力を理論的に分析するため、Weisfeiler-Lehmanテストのセルバージョンを用いる。
• 各次元でセル表現を合算（ZINC）または平均化（Mol-HIV）することで集約する読み出し機構を実装する。
• 標準的な最適化プロトコルを用いてモデルを訓練する：Adamを用い、学習率スケジューリング、早期停止、10回のランで重み初期化の平均化を実施する。

実験結果

リサーチクエスチョン

• RQ1 セル複体に基づくメッセージパッシングフレームワークは、標準GNNよりも高い表現力を達成できるか？
• RQ2 環のような高次構造の組み込みが、分子グラフ学習タスクの性能に与える影響は何か？
• RQ3 提案されたCWネットワークフレームワークは、WLテストよりも厳密に強力であり、3-WLテストより弱くはならないか？
• RQ4 誘導サイクルに基づく昇格変換は、分子グラフにおけるより効果的で直感的な階層的メッセージパッシング手順を可能にするか？
• RQ5 CWネットワークにおける階層的・多次元的メッセージパッシングは、標準的な分子グラフベンチマークで、既存の最先端GNNを上回る性能を示せるか？

主な発見

• セルバージョンのWeisfeiler-Lehmanテストを用いた理論的分析により、CWネットワークは標準WLテストよりも厳密に表現力が高く、3-WLテストより弱くはないと証明された。
• 環に基づく昇格を用いたCINモデルは、ZINCデータセットでテストMAE 0.079 ± 0.006を達成し、GSN や HIMP を含むすべての先行ベースラインを上回った。
• アブレーションスタディの結果、2セル（環）を除去すると性能が低下し、「CIN No-Rings」は0.159のMAEを示したが、依然として環に依存しないモデル（GIN-E Custom：0.196 MAE）を上回った。
• 容量を制限したモデル（48個の隠れユニット、2層）でもZINCで0.094のMAEを達成し、パrameter制約下でも優れた性能を示した。
• エッジ特徴量と環に基づく2セルの組み込みにより、エッジ表現学習が豊かになり、CIN No-RingsがGIN-E Custom より優れた性能を示した。
• Mol-HIVでは、報告されたテストAUCが最先端の性能を示したが、提供されたテキストには正確な数値は記載されていない。