[論文レビュー] Outcome Correlation in Graph Neural Network Regression.

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|Feb 19, 2020

Advanced Graph Neural Networks参考文献 30被引用数 5

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）回帰の性能を向上させる手法を提案する。予測の残差同士の相関をパラメータ化された多変量正規分布でモデル化することで、従来のGNNが無視する隣接ノード間の依存関係を捉える。スケーラブルで線形時間のアルゴリズムを用いることで、予測性能が顕著に向上する。

ABSTRACT

Graph neural networks aggregate features in vertex neighborhoods to learn vector representations of all vertices, using supervision from some labeled vertices during training. The predictor is then a function of the vector representation, and predictions are made independently on unlabeled nodes. This widely-adopted approach implicitly assumes that vertex labels are independent after conditioning on their neighborhoods. We show that this strong assumption is far from true on many real-world graph datasets and severely limits predictive power on a number of regression tasks. Given that traditional graph-based semi-supervised learning methods operate in the opposite manner by explicitly modeling the correlation in predicted outcomes, this limitation may not be all that surprising. Here, we address this issue with a simple and interpretable framework that can improve any graph neural network architecture by modeling correlation structure in regression outcome residuals. Specifically, we model the joint distribution of outcome residuals on vertices with a parameterized multivariate Gaussian, where the parameters are estimated by maximizing the marginal likelihood of the observed labels. Our model achieves substantially boosts the performance of graph neural networks, and the learned parameters can also be interpreted as the strength of correlation among connected vertices. To allow us to scale to large networks, we design linear time algorithms for low-variance, unbiased model parameter estimates based on stochastic trace estimation. We also provide a simplified version of our method that makes stronger assumptions on correlation structure but is extremely easy to implement and provides great practical performance in several cases.

研究の動機と目的

• GNN回帰において、近傍特徴を条件とした場合に予測ラベルが独立していると仮定するという、強くかつしばしば誤った仮定を是正すること。
• 実世界のグラフにおける真の出力相関を捉えるために、頂点間の残差の同時分布をパラメータ化された多変量正規分布でモデル化すること。
• スティルスティックトレース推定を活用して低分散かつ不偏なパrameter推定を実現することで、大規模グラフ向けのスケーラブルな推論および学習アルゴリズムを開発すること。
• 一般化されたフレームワークと、より強い仮定を置くが最小限の実装コストで優れた実用的性能を達成する簡略化されたバージョンの両方を提供すること。

提案手法

• 頂点上の回帰出力残差の同時分布を、グラフ構造でパrameter化された精度行列をもつ多変量正規分布としてモデル化する。
• 観測ラベルの周辺尤度を最大化することでモデルパラメータを推定し、GNNとエンドツーエンドで訓練可能にする。
• スティルスティックトレース推定を用いて、逆共分散行列のトレースを効率的に計算することで、線形時間のパラメータ推定を実現する。
• エッジごとに共通の相関強度を仮定する簡略化されたバージョンの手法を設計し、複雑さを低減しながらも優れた経験的性能を維持する。
• 任意の事前学習済みGNNの上に、残差相関モデルをポストプロセッシング層または微分可能ヘッドとして統合することで、アーキテクチャの柔軟性を保つ。
• 学習された精度行列パラメータを、接続された頂点間の相関強度の指標として解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 実世界のグラフデータセットでは、GNN回帰において近傍特徴を条件としたラベルの独立性という仮定がどの程度破られるか？
• RQ2 GNN予測の残差相関をモデル化することで、多様なデータセットで回帰性能に測定可能な向上が得られるか？
• RQ3 大規模グラフにおいて、残差の多変量正規分布モデルのパラメータを、許容できない計算コストを伴わずに効率的に推定できるか？
• RQ4 例えば、エッジごとの相関を一定と仮定するような相関構造の簡略化が、性能とスケーラビリティに与える影響は何か？
• RQ5 学習された相関パラメータは、接続されたノード間の関係的影響を意味的に解釈できる指標として有効か？

主な発見

• 提案手法は、実世界の複数のデータセットにおいて、従来無視されていた出力相関を捉えることで、GNN回帰性能を顕著に向上させる。
• 残差に多変量正規分布モデルを適用することで、ラベルの条件付き独立性を仮定する従来のGNNよりもより正確な予測が得られる。
• 線形時間のスティルスティックトレース推定により、大規模グラフ（数百万ノード）に対してもスケーラブルなパラメータ推定が可能になる。
• エッジごとに共通の相関強度を仮定する簡略化されたバージョンは、最小限の実装コストで優れた性能を達成し、高い効率性を示す。
• 学習された相関パラメータは解釈可能であり、接続されたノード間の意味的な関係的依存性を反映しており、モデルが構造的関係を正しく捉えられることを裏付けている。