[論文レビュー] Pointer Graph Networks

Petar Veličković, Lars Buesing+4 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks被引用数 16

ひとこと要約

Pointer Graph Networks (PGNs) は、ノード同士が互いにポイントする仕組みを導入することで、微分可能で教師ありの方法により動的でスパースなグラフ構造を学習する。これにより、静的入力グラフに学習可能なポイントエッジを追加し、素因数分解集合やリンク/カットツリーといった複雑なポイントベースのデータ構造をモデル化できる。この手法により、動的グラフ接続性タスクにおいて、標準的なGNNやDeep Setsを上回る5倍の分布外一般化性能を達成した。

ABSTRACT

Graph neural networks (GNNs) are typically applied to static graphs that are assumed to be known upfront. This static input structure is often informed purely by insight of the machine learning practitioner, and might not be optimal for the actual task the GNN is solving. In absence of reliable domain expertise, one might resort to inferring the latent graph structure, which is often difficult due to the vast search space of possible graphs. Here we introduce Pointer Graph Networks (PGNs) which augment sets or graphs with additional inferred edges for improved model generalisation ability. PGNs allow each node to dynamically point to another node, followed by message passing over these pointers. The sparsity of this adaptable graph structure makes learning tractable while still being sufficiently expressive to simulate complex algorithms. Critically, the pointing mechanism is directly supervised to model long-term sequences of operations on classical data structures, incorporating useful structural inductive biases from theoretical computer science. Qualitatively, we demonstrate that PGNs can learn parallelisable variants of pointer-based data structures, namely disjoint set unions and link/cut trees. PGNs generalise out-of-distribution to 5x larger test inputs on dynamic graph connectivity tasks, outperforming unrestricted GNNs and Deep Sets.

研究の動機と目的

• GNNにおける静的グラフ構造の制限を克服するため、動的でデータ駆動のグラフトポロジの学習を可能にする。
• 古典的データ構造からの誘導的バイアスを組み込むことで、アルゴリズム的推論タスクにおける一般化性能を向上させる。
• ニューラルネットワークが素因数分解集合やリンク/カットツリーのような複雑なポイントベースのアルゴリズムを学習し、一般化できることを示す。
• モデルの表現力を向上させつつ計算効率を損なわせない、教師ありでスパースかつ効率的な潜在グラフ構造推論の方法を提供する。

提案手法

• PGNs はエンコーダ、プロセッサ、デコーダのハイブリッドアーキテクチャを採用し、動的に学習されたポイントエッジを介してステップごとのメッセージパッシングを実行する。
• 各時刻 t において、各ノードは微分可能ルーティング機構を介して他のノードへのポイントを予測し、対称的なポイント隣接行列 Π(t) を形成する。
• プロセッサネットワーク P は、時刻 t−1 のポイント行列 Π(t−1) を関係性の誘導的バイアスとして用い、メッセージパッシングによりノード表現を更新する。
• マスキング機構により、各ステップでどのノードが変更されたかを特定し、モデルが関連するエントリティに計算を集中できるようにする。
• 中間のデータ構造状態（例：DSU や LCT の構成）に対して直接の教師信号を与えることで、古典的アルゴリズムの挙動と正確に一致させる。
• デコーダはノード表現を順列不変な読み出しにより集約し、セットレベルのクエリに対する予測を出力する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、素因数分解集合やリンク/カットツリーのような複雑なポイントベースのデータ構造を学習し、一般化できるか？
• RQ2 中間のデータ構造状態に対する直接の教師信号は、静的GNN や Deep Sets を超える一般化性能を向上させるか？
• RQ3 アルゴリズム的推論タスクにおいて、微分可能でスパースかつ動的なグラフ構造を効果的に学習できるか？
• RQ4 理論的コンピュータサイエンスからの誘導的バイアスの使用は、モデル性能と一般化能力をどの程度向上させるか？
• RQ5 PGNs は、トレーニング時に観測した入力サイズよりもはるかに大きなサイズの入力に対しても一般化できるか？

主な発見

• PGNs は最大のリンク/カットツリーテストセット（n = 100, ops = 150）において F1 スコア 0.616 ± 0.009 を達成し、GNN（0.401 ± 0.123）や SupGNN（0.541 ± 0.059）をすべて上回った。
• 動的グラフ接続性タスクにおいて、PGNs はトレーニング時に見なかった入力サイズの5倍のテスト入力に対しても一般化でき、強力な分布外一般化性能を示した。
• アブレーションスタディの結果、マスク監視のみを用いる PGN-MO でさえ、すべての非-PGN モデルを上回った。これは誘導的バイアスが性能向上の鍵であることを示している。
• 非対称ポイントを用いる PGN-Asym は、対称的な PGN よりも著しく性能が低く、ポイントの対称化が構造的断片化を防ぐために実証的に有効であることを確認した。
• n = 200 および ops = 300 にスケーリングした場合、PGN は F1 スコア 0.636 ± 0.009 を達成し、Oracle-Ptr ベースライン（0.619 ± 0.043）に近づいた。これは、より大きな入力に対しても頑健であることを示している。
• モデルは、正しさを保ちつつ、真値実装とは異なるが有効な並列可能データ構造を学習し、生成できた。