[論文レビュー] A Unifying Generative Model for Graph Learning Algorithms: Label Propagation, Graph Convolutions, and Combinations

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、ガウスマルコフランダムフィールド（GMRFs）に基づく統一的な生成モデルを提案し、ラベル伝播、グラフ畳み込み、およびそれらの組み合わせを、単一の統計枠組みにおける条件付き期待値として統一する。このモデルにより、原理的なアルゴリズムの導出が可能となり、過剰平滑化の説明が可能になり、トレースに基づくR²近似を用いた正確な性能推定が可能となる。新たに提案された線形グラフ畳み込み法は、強力な実験的性能を示している。

ABSTRACT

Semi-supervised learning on graphs is a widely applicable problem in network science and machine learning. Two standard algorithms -- label propagation and graph neural networks -- both operate by repeatedly passing information along edges, the former by passing labels and the latter by passing node features, modulated by neural networks. These two types of algorithms have largely developed separately, and there is little understanding about the structure of network data that would make one of these approaches work particularly well compared to the other or when the approaches can be meaningfully combined. Here, we develop a Markov random field model for the data generation process of node attributes, based on correlations of attributes on and between vertices, that motivates and unifies these algorithmic approaches. We show that label propagation, a linearized graph convolutional network, and their combination can all be derived as conditional expectations under our model, when conditioning on different attributes. In addition, the data model highlights deficiencies in existing graph neural networks (while producing new algorithmic solutions), serves as a rigorous statistical framework for understanding graph learning issues such as over-smoothing, creates a testbed for evaluating inductive learning performance, and provides a way to sample graphs attributes that resemble empirical data. We also find that a new algorithm derived from our data generation model, which we call a Linear Graph Convolution, performs extremely well in practice on empirical data, and provide theoretical justification for why this is the case.

研究の動機と目的

• ラベル伝播、グラフ畳み込み、およびそれらの組み合わせといった多様なグラフ学習アルゴリズムを、単一の生成統計モデルの下で統一すること。
• グラフニューラルネットワークにおける過剰平滑化と不十分平滑化の分析のための厳密な統計枠組みを提供すること。
• 同一の分布からグラフをサンプリングすることにより、誘導的学習性能の評価のためのテストベッドを構築すること。
• GMRFモデルから導出されたトレースに基づくR²推定式を用いて、アルゴリズムの性能を正確に予測すること。
• 高い同型性下での近隣構造の記憶といった、既存のGNNの欠陥を特定・是正すること。

提案手法

• ノード属性を、グラフのトポロジーとノード特徴量の相関に基づいて定義される条件付き独立構造を有するガウスマルコフランダムフィールド（GMRF）として形式化する。
• ラベル伝播、グラフ畳み込み、およびハイブリッド手法を、GMRFモデルにおける条件付き期待値として導出する。
• 条件付き期待値の一次近似を導入し、トレースに基づくR²性能推定式を導出する：$ E[R^2] \approx 1 - \frac{\mathrm{tr}(\bm{\Sigma}^{(\mathcal{A})})}{\mathrm{tr}(\bm{\Sigma}^{(0)}) - \frac{1}{|U|}\bm{1}^T\bm{\Sigma}^{(0)}\bm{1}} $。
• 実世界のデータにGMRFのパラメータを適合させ、実世界のデータに類似した合成属性付きグラフを生成する。
• GMRFモデルから直接導出された新しい線形グラフ畳み込み（LGC）アルゴリズムを提案し、非線形性を回避するとともに滑らかさを最適化する。
• モデルを用いてGNNの限界を分析し、特に高い同型性下での近隣構造の記憶に起因する一般化性能の低下を特定し、改善策を提案する。

実験結果

リサーチクエスチョン

• RQ1 ラベル伝播、グラフ畳み込み、およびそれらの組み合わせを、ノード属性の単一の生成モデルの下で統一できるか？
• RQ2 GMRFフレームワークは、ラベル伝播とグラフニューラルネットワークの間の性能差を説明し、予測できるか？
• RQ3 GNNにおける過剰平滑化の原因は何か？また、GMRFモデルはこれを厳密な統計的説明を提供できるか？
• RQ4 GMRFモデルは、グラフアルゴリズムにおける誘導的学習一般化の評価のためのテストベッドとして機能できるか？
• RQ5 トレースに基づくR²推定式は、合成グラフおよび実世界のグラフにおいて、実測性能をどれほど正確に予測できるか？

主な発見

• 提案されたGMRFモデルは、ラベル伝播、グラフ畳み込み、およびそれらの組み合わせを、単一の確率的枠組みにおける条件付き期待値として成功裏に統一した。
• トレースに基づくR²推定式は、合成データにおいて非常に高い精度の性能予測を実現し、複数のラベル選択において推定値と実測値のR²が強く一致した。
• 実世界のデータセットにおいても、R²推定式は実測性能と顕著な正の相関を示した。特に、2016年米国大統領選挙やロンドン市長選挙地図のような線形相関を持つデータにおいて顕著であった。
• CDC気候データセットでは、非線形相関のため、線形GMRFモデルが完全に捉えきれないことから、推定式の性能が劣化した。
• GMRFモデルから導出された新しい線形グラフ畳み込み（LGC）手法は、強力な実験的性能を示し、本モデルの実用的価値を裏付けた。
• モデルは、標準的なGNNが高い同型性下で近隣構造を記憶してしまう傾向にあり、一般化性能を損なうことを明らかにした。これにより、このような状況下では単純で線形な手法がより頑健である可能性が示唆された。