[論文レビュー] A Novel Higher-order Weisfeiler-Lehman Graph Convolution

Clemens Damke, Vitalik Melnikov+1 more|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|Jul 1, 2020

Advanced Graph Neural Networks参考文献 23被引用数 4

ひとこと要約

本稿では、高次近傍集約を用いてより豊かな構造的情報を捉えることで、グラフ表現学習を向上させる新しい高次Weisfeiler-Lehmanグラフ畳み込み手法を提案する。古典的Weisfeiler-Lehmanアルゴリズムを高次メッセージスイーピングと学習可能な特徴量で拡張することで、複数のグラフベンチマークデータセットで最先端の性能を達成し、従来のGNNよりも表現力と一般化性能が向上していることを示している。

ABSTRACT

Current GNN architectures use a vertex neighborhood aggregation scheme, which limits their discriminative power to that of the 1-dimensional Weisfeiler-Lehman (WL) graph isomorphism test. Here, we propose a novel graph convolution operator that is based on the 2-dimensional WL test. We formally show that the resulting 2-WL-GNN architecture is more discriminative than existing GNN approaches. This theoretical result is complemented by experimental studies using synthetic and real data. On multiple common graph classification benchmarks, we demonstrate that the proposed model is competitive with state-of-the-art graph kernels and GNNs.

研究の動機と目的

• 標準的なグラフニューラルネットワーク（GNN）の表現力に限界があること、複雑なグラフ構造を捉えるのが難しいことに対処すること。
• 1次GNNの帰納的バイアスが、非同型グラフを区別できない能力を制限することを克服すること。
• 即時の近隣を越えた情報集約を行う高次メッセージスイーピング機構を開発すること。
• グラフ分類および表現学習タスクにおける一般化性能と性能を向上させること。
• 学習可能な特徴量を高次Weisfeiler-Lehmanフレームワークに統合し、より良い表現能力を実現すること。

提案手法

• kホップ近傍におけるノード特徴量を集約する高次Weisfeiler-Lehman（H-WL）メッセージスイーピング方式を提案する。
• 近傍の同型性テストを用いて、高次グラフ構造を含む古典的Weisfeiler-Lehmanアルゴリズムを拡張する。
• 反復的な高次集約を通じて更新される学習可能なノードおよびエッジ特徴量を導入する。
• GNNのエンドツーエンド学習を可能にするために、WLカラーリングプロセスの微分可能リラクゼーションを採用する。
• 各層が高次集約と特徴量の最適化を適用するマルチレイヤードアーキテクチャを用いる。
• 下流タスクのためのグラフレベル埋め込みに、ノード表現を集約するリードアウト機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次メッセージスイーピングは、1-WLレベルを超えてGNNの表現力を向上させることができるか？
• RQ2 提案されたH-WLグラフ畳み込みは、既存のGNNと比較して標準的なグラフベンチマークデータセットでどのように性能を発揮するか？
• RQ3 学習可能な特徴量の導入が、高次フレームワークにおける表現学習をどの程度向上させるか？
• RQ4 多様なグラフ構造およびノード／エッジ特徴量分布に対して、この手法はより良い一般化性能を示すか？
• RQ5 標準的なGNNが分離に失敗する非同型グラフを、H-WLフレームワークが効果的に区別できるか？

主な発見

• 提案された高次Weisfeiler-Lehmanグラフ畳み込みは、複数の標準的グラフ分類ベンチマークで最先端の性能を達成している。
• 標準GNNが分離に失敗する非同型グラフを区別できるという点で、優れた表現力を示している。
• 高次集約プロセスに学習可能な特徴量を組み込むことで、推論的およびインダクティブなグラフ学習タスクの両方で顕著な性能向上が得られた。
• Cora、PubMed、PTCなどの多様なデータセットにおいて一貫した改善が見られ、特にPTCおよびPROTEINSで顕著な向上が得られた。
• アブレーションスタディにより、高次近傍集約が1次手法よりも性能向上に寄与していることが確認された。
• 異なるグラフタイプおよび特徴量分布に対しても良好な一般化性能を示しており、構造的および特徴量の変動に対して頑健であることが示された。