[論文レビュー] A Lagrangian Approach to Information Propagation in Graph Neural Networks

Matteo Tiezzi, Giuseppe Marra+3 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Graph Neural Networks参考文献 24被引用数 7

ひとこと要約

本稿では、固定点状態計算を制約に直接埋め込むことで、学習中の反復的拡散処理を不要にするGNNのラグランジュフレームワークを提案する。ノード状態、重み、ラグランジュ乗数を同時に saddle-point 探索によって最適化することで、より単純で浅いアーキテクチャでも競争力のある性能を達成し、固定点緩和を明示的に行わずとも、グラフ分類ベンチマークでより深いモデルを上回るか同等の性能を発揮する。

ABSTRACT

In many real world applications, data are characterized by a complex structure, that can be naturally encoded as a graph. In the last years, the popularity of deep learning techniques has renewed the interest in neural models able to process complex patterns. In particular, inspired by the Graph Neural Network (GNN) model, different architectures have been proposed to extend the original GNN scheme. GNNs exploit a set of state variables, each assigned to a graph node, and a diffusion mechanism of the states among neighbor nodes, to implement an iterative procedure to compute the fixed point of the (learnable) state transition function. In this paper, we propose a novel approach to the state computation and the learning algorithm for GNNs, based on a constraint optimisation task solved in the Lagrangian framework. The state convergence procedure is implicitly expressed by the constraint satisfaction mechanism and does not require a separate iterative phase for each epoch of the learning procedure. In fact, the computational structure is based on the search for saddle points of the Lagrangian in the adjoint space composed of weights, neural outputs (node states), and Lagrange multipliers. The proposed approach is compared experimentally with other popular models for processing graphs.

研究の動機と目的

• 各学習エポックにおける従来のGNNで見られる反復的固定点計算の計算非効率性を解消すること。
• ラグランジュフレームワーク内で制約付き最適化問題としてGNN学習を再定式化し、状態と重みの最適化を統合すること。
• 収束を制約の満たし方へ埋め込むことで、別個の反復的拡散フェーズを不要にする。
• ラグランジュ最適化を用いた単純で浅いGNNアーキテクチャが、より深い・複雑なGNNと同等またはそれ以上の性能を発揮できるかを評価すること。
• 拡散と深層特徴抽出のメカニズムを分離することで、GNN性能における両者の役割を調査すること。

提案手法

• ノード状態の収束をラグランジュ制約によって強制する制約付き最適化問題としてGNN学習を定式化する。
• 重み、ノード状態（ニューラル出力）、およびアドジョイント空間内のラグランジュ乗数の上にラグランジアン関数を定義する。
• ラグランジアンの鞍点探索により同時最適化を実行し、明示的な反復処理を伴わず状態収束を暗黙的に強制する。
• 学習中に重み、ノード状態、ラグランジュ乗数を同時に更新するためのプライマル・デュアル最適化スキームを採用する。
• 固定点条件をモデル化するための柔軟な制約関数 G(⋅) を採用し、ロバストネスと一般化性能を向上させる。
• ラグランジアンを介したバックプロパゲーションにより、状態遷移関数をエンドツーエンドで学習するGNNフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける固定点状態計算を、反復的精錬を避けるために制約によって学習目的に直接埋め込むことができるか？
• RQ2 ラグランジュに基づく最適化フレームワークにより、別個の反復フェーズを経ずにノード状態とモデル重みの共同学習が可能になるか？
• RQ3 ラグランジュ伝搬を用いた浅いGNNが、グラフ分類タスクにおいてより深い・複雑なGNNと同等の性能を発揮できるか？
• RQ4 拡散と深層表現抽出を分離した場合、モデルの性能と一般化性能にどのような影響を与えるか？
• RQ5 異なる制約関数がモデルのロバストネスおよび収束行動に与える影響は何か？

主な発見

• 提案された LP-GNN フレームワークは、より単純で浅いアーキテクチャであるにもかかわらず、GCN や DGCNN、GIN-GNN などの最先端GNNと同等または優れた性能を達成する。
• Cora や PubMed、PTC などのベンチマークデータセットにおいて、平均的により深いモデルと同等または優れた正確度を示し、より複雑なアーキテクチャの報告値と同等またはそれを上回る精度を達成している。
• 学習中に反復的固定点計算を必要としないため、計算パイプラインが簡素化され、トレーニングオーバーヘッドが低減される。
• 拡散と深層表現のメカニズムを分離することで、浅いノード表現であっても、効果的な情報伝搬そのもので強力な性能が得られることを示している。
• 勾配降下率、隠れユニット数、ドロップアウト率といったハイパーパramータのチューニングにおいて、複数の設定で安定した性能を示しており、ロバストネスが裏付けられている。
• 制約ベースの定式化により、制約関数 G(⋅) の選択によって、代替の固定点最適化戦略を柔軟に統合可能である。