[論文レビュー] Memory-Based Graph Networks

Amir Hosein Khasahmadi, Kaveh Hassani+3 more|arXiv (Cornell University)|Feb 21, 2020

Advanced Graph Neural Networks参考文献 60被引用数 11

ひとこと要約

本稿では、メモリベースのグラフネットワーク（MemGNN）とグラフメモリネットワーク（GMN）を提案する。これらのモデルは、マルチヘッドメモリ層を用いて階層的なノード表現の学習とグラフの粗粒度化を同時に実行し、9つのグラフ分類および回帰ベンチマークのうち8つで最先端の性能を達成した。特に、分子内の化学的に意味のあるサブ構造（例：ヒドロキシル基、カルボキシル基、ベンゼン環）の正確な同定にも成功した。

ABSTRACT

Graph neural networks (GNNs) are a class of deep models that operate on data with arbitrary topology represented as graphs. We introduce an efficient memory layer for GNNs that can jointly learn node representations and coarsen the graph. We also introduce two new networks based on this layer: memory-based GNN (MemGNN) and graph memory network (GMN) that can learn hierarchical graph representations. The experimental results shows that the proposed models achieve state-of-the-art results in eight out of nine graph classification and regression benchmarks. We also show that the learned representations could correspond to chemical features in the molecule data. Code and reference implementations are released at: https://github.com/amirkhas/GraphMemoryNet

研究の動機と目的

• グラフニューラルネットワークにおいて、ノード表現学習とグラフ粗粒度化を同時に効率的に行うメモリ層の開発。
• このメモリ層を活用した2つの新規アーキテクチャ—MemGNNとGMN—の設計。
• 分子データにおける機能群のような意味のある解釈可能なグラフ構造のエンドツーエンド学習の実現。
• 各ポーリングステップ後に繰り返しメッセージパッシングを実行する従来のポーリング機構と比較して、計算オーバーヘッドの低減。

提案手法

• メモリ層は、明示的な接続情報に依存せずに、学習可能なキーのマルチヘッドアレイを用いてノード表現をグローバルかつ抽象化されたクラスタにグループ化する。
• 直前の層からのノード表現がクエリとして機能し、メモリキーに対するアテンションを計算することで、ソフトクラスタ割り当てと集約により粗粒度化されたノード表現を生成する。
• 複数のヘッドからのアテンションスコアを畳み込み演算子で集約することで、頑健で微分可能なクラスタリングを実現する。
• MemGNNは、初期の表現学習にGNNを用い、スタックされたメモリ層によりグローバルグラフレベルまで階層的表現を構築する。
• GMNはメッセージパッシングを完全に置き換え、複数のメモリ層を通じて直接的に階層的表現を学習することで、高速な推論を可能にする。
• トポロジカル埋め込みは、グラフ拡散（例：ランダムウォークやヒートカーネル）を用いて初期化され、明示的なエッジ依存性なしに構造的認識を向上させる。

実験結果

リサーチクエスチョン

• RQ1 既存のポーリング機構と比較して、メモリベースのレイヤーはノード表現学習とグラフ粗粒度化をより効率的に同時に学習できるか？
• RQ2 学習されたメモリキーは、分子グラフにおける意味的に重要なサブ構造（例：機能群）に対応しているか？
• RQ3 キー数やヘッド数の変更が、グラフサイズの異なるデータセットにおけるモデルの性能と一般化能力に与える影響は？
• RQ4 完全にメモリレイヤーで構成されるモデル（GMN）は、メッセージパッシングGNNよりもグラフレベルの予測タスクで優れた性能を示せるか？
• RQ5 メモリレイヤーに明示的な接続情報が存在しない場合、トポロジカルに複雑なグラフでは性能に悪影響を及えるか？

主な発見

• MemGNNは、9つのグラフ分類および回帰ベンチマークのうち8つで最先端の性能を達成し、ESOL（RMSE = 0.52）およびリポフィリシティで最先端の結果を記録した。
• ランダムな近隣ノードサンプリングを用いたCollabデータセットでは、10折交差検証で73.9％の精度を達成し、RWRベースのサンプリング（73.1％）を上回った。
• 学習済みクラスタの可視化により、メモリキーが分子内に存在する既知の化学的サブ構造（例：ヒドロキシル基（OH）、カルボキシル基（COOH）、ベンゼン環）に対応していることが明らかになった。
• パラメータ予算を固定した場合、メモリヘッド数を増やすことで性能が向上した。例：ESOLでは、32キーと5ヘッドでRMSE = 0.53、160キーと1ヘッドでRMSE = 0.54を記録した。
• K-Meansで初期化したキーと同様の性能を、ランダム初期化のキーが達成した。これは、エンドツーエンド学習がウォームスタートなしに意味のあるクラスタ重心を効果的に学習できることを示唆している。
• メモリレイヤーは、局所的なトポロジーに依存せずに、グラフの粗粒度化と表現の集約を効果的に行い、過剰平滑化を回避し、効率的な推論を可能にした。