[論文レビュー] Relational Pooling for Graph Representations

Ryan L. Murphy, Balasubramaniam Srinivasan+2 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Graph Neural Networks参考文献 63被引用数 38

ひとこと要約

Relational Pooling (RP) は、さまざまなニューラルアーキテクチャと組み合わせることができ、グラフの表現力を最大化する permutation-invariant なフレームワークを提供します。場合によっては WL-GNNs を超えることもあり、RP-GNNs の力をさらに強化します。

ABSTRACT

This work generalizes graph neural networks (GNNs) beyond those based on the Weisfeiler-Lehman (WL) algorithm, graph Laplacians, and diffusions. Our approach, denoted Relational Pooling (RP), draws from the theory of finite partial exchangeability to provide a framework with maximal representation power for graphs. RP can work with existing graph representation models and, somewhat counterintuitively, can make them even more powerful than the original WL isomorphism test. Additionally, RP allows architectures like Recurrent Neural Networks and Convolutional Neural Networks to be used in a theoretically sound approach for graph classification. We demonstrate improved performance of RP-based graph representations over state-of-the-art methods on a number of tasks.

研究の動機と目的

• 頂点/エッジ特徴を持つグラフに対して、WL-based GNNs を超える最も強力なグラフ表現フレームワークを動機づける。
• Relational Pooling (RP) を、グラフ表現上のパーミュテーション不変な集約として提案する。
• RP が多様なニューラルアーキテクチャ（RNNs、CNNs、MLPs、GNNs）と組み合わせ可能で、理論的に最大のグラフ表現力を達成し得ることを示す。
• スケーラブルなグラフ分類を可能にするための RP の扱いやすい近似を導入し、経験的改善を示す。

提案手法

• RP を、すべての頂点の再標識化に対して、置換感度のある関数を平均化する結合的パーミュテーション不変関数として定義する（式1）。
• 別個の RP を用いた二部グラフへの拡張（式2）。
• 内部関数が十分に表現力を持つとき、RP が有限グラフに対して最大の表現力を達成することを示す（定理2.1）。
• 置換感度の識別子を埋め込むことで、対称な隣接構造を識別し、RP-GNN を形成して WL-GNNs を強化する（式5；定理2.2）。
• 内部関数のニューラルアーキテクチャとして、RNNs、CNNs、GNNs を含む設計と、それらが RP とどのように組み合わさるかを説明する。
• 計算量を削減する実現可能性戦略として、canonical orientations、pi-SGD、k-ary RP を提示する（セクション 2.3.1–2.3.3）。

実験結果

リサーチクエスチョン

• RQ1 Relational Pooling は、非同井なグラフを識別するために WL-based GNNs を超える最も強力なグラフ表現を提供できるか？
• RQ2 RP を既存のニューラルアーキテクチャと統合して、計算可能性を維持しつつグラフ分類を強化するにはどうすればよいか？
• RQ3 近似（canonical orientations、pi-SGD、k-ary RP）は、実務的に WL-GNNs を上回るほどの表現力を十分に保持するか？
• RQ4 RP-GNN（RP と WL-GNNs の組み合わせ）を標準の WL テストと比較したときの表現力の理論的な向上はどの程度か？
• RQ5 RP が、非二部グラフと二部グラフそれぞれに対する結合不変性と分離不変性の一般化としてどのように機能するか？

主な発見

• RP は、有限の頂点/エッジ属性集合を持つグラフのための、最大限表現力のあるパーミュテーション不変表現を定義する（定理2.1）。
• RP-GNN は標準の WL-GNN より厳密に表現力が高く、内部関数として GIN を用いた場合 WL テストより強力になることがある（定理2.2）。
• 置換感度を持つ内部関数は RP 内で活用され、より強力なグラフ表現を作り出すことができる。
• 近似 RP 手法（canonical orientations、pi-SGD、k-ary RP）は、グラフ分類に適した、計算可能でありながら表現力のある近似を提供する。
• RP は多様なアーキテクチャ（RNNs、CNNs、MLPs、GNNs）を用いて、柔軟で強力なグラフ表現を構築できる。