[論文レビュー] Understanding the Message Passing in Graph Neural Networks via Power Iteration.

Xue Li, Yuanzhi Cheng|arXiv (Cornell University)|May 30, 2020

Advanced Graph Neural Networks被引用数 3

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）におけるメッセージパッシングが、パワー反復を用いて根本的に理解可能であることを明らかにし、活性化関数と学習可能な重みを削除することで、新たな解釈可能なモデルであるSPIC（Simplified Power Iteration Clustering）を提案する。この手法は、ランダム特徴量ネットワークにおける性能を向上させ、多数の最先端GNNが設計において冗長であることを示し、ランダムアグレゲータ初期化を用いてGNNの評価の下限を確立する。

ABSTRACT

The mechanism of message passing in graph neural networks(GNNs) is still mysterious for the literature. No one, to our knowledge, has given another possible theoretical origin for GNNs apart from convolutional neural networks. Somewhat to our surprise, the message passing can be best understood in terms of the power iteration. By removing activation functions and layer weights of GNNs, we propose power iteration clustering (SPIC) models which are naturally interpretable and scalable. The experiment shows our models extend the existing GNNs and enhance its capability of processing random featured networks. Moreover, we demonstrate the redundancy of some state-of-the-art GNNs in designing and define a lower limit for model evaluation by randomly initializing the aggregator of message passing. All the findings in this paper push the boundaries of our understanding of neural networks.

研究の動機と目的

• 畳み込みニューラルネットワークを越えたGNNのメッセージパッシングの新しい理論的基盤を解明すること。
• 既存のGNNアーキテクチャにおける解釈可能性とスケーラビリティの欠如に対処すること。
• 最先端GNNの設計が性能向上に寄与するものかどうか、冗長であるか本質的であるかを調査すること。
• ランダムに初期化されたアグレゲータを用いて、GNNの評価の下限を確立すること。
• 簡素化され解釈可能なモデルを用いて、ランダム特徴量ネットワークにおけるGNNの能力を向上させること。

提案手法

• 活性化関数と学習可能な重みを削除することで、メッセージパッシング機構を孤立化させるGNNの変種、SPIC（Simplified Power Iteration Clustering）を提案する。
• メッセージパッシングをグラフ隣接行列上のパワー反復としてモデル化し、GNNをスペクトルクラスタリングと反復的行列ベクトル乗算に結びつける。
• グラフラプラシアンまたは隣接行列に基づく線形変換を用いて、特徴を反復的に伝搬する。
• パワー反復を用いて反復的にノード表現を精緻化し、グラフ構造が情報伝達に果たす役割を強調する。
• アグレゲータをランダムに初期化することでGNNの性能を評価し、モデル評価のベースラインを確立する。
• ランダム特徴量ネットワーク上でSPICと標準GNNを比較することで、複雑なGNN部品の冗長性を分析する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるメッセージパッシング機構は、パワー反復によって理論的に説明可能か？
• RQ2 GNNにおける効果的なノード表現学習に必要な最小限のアーキテクチャは何か？
• RQ3 現代のGNNは、特に学習可能な重みと活性化関数の観点から、どの程度設計が冗長か？
• RQ4 ランダムアグレゲータ初期化は、GNN評価の意味のある下限として機能できるか？
• RQ5 SPICモデルは、標準GNNと比較してランダム特徴量ネットワークでどの程度の性能を示すか？

主な発見

• GNNにおけるメッセージパッシングは、本質的にグラフ隣接行列上のパワー反復に等しく、新たな理論的視点を提供する。
• 活性化関数と重みを削除したSPICモデルは、ランダム特徴量ネットワークにおいて競争力のある性能を達成し、パワー反復機構の十分性を示している。
• メッセージパッシングのアグレゲータをランダムに初期化することで、GNN評価の下限が得られ、多くの最先端GNNが設計において冗長であることが明らかになった。
• SPICモデルは構造が簡素であるため、解釈可能かつスケーラブルであり、理論的分析に適している。
• 本研究では、非線形性や学習可能な重みといった複雑なGNN部品が、特定のランダム特徴量設定において性能向上に不可欠ではないことが示された。
• 研究結果から、多くのGNNは過剰パラメータ化されており、性能向上の要因がモデルの複雑さではなく、構造的伝搬に起因する可能性があると示唆される。