[論文レビュー] MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution

Wendong Bi, Lun Du+4 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、平均や最大値などの単一統計量に代えて、複数のモーメント（高次モーメント）を用いて近隣特徴の分布をモデル化する新しいグラフニューラルネットワークMM-GNNを提案する。マルチオーダーモーメントエンベッディングと要素別アテンションベースのモーメントアダプタを組み合わせることで、高次モーメントを動的に重み付けし、15の実世界グラフ（SNSや引用ネットワークを含む）で最先端の性能を達成した。

ABSTRACT

Graph Neural Networks (GNNs) have shown expressive performance on graph representation learning by aggregating information from neighbors. Recently, some studies have discussed the importance of modeling neighborhood distribution on the graph. However, most existing GNNs aggregate neighbors' features through single statistic (e.g., mean, max, sum), which loses the information related to neighbor's feature distribution and therefore degrades the model performance. In this paper, inspired by the method of moment in statistical theory, we propose to model neighbor's feature distribution with multi-order moments. We design a novel GNN model, namely Mix-Moment Graph Neural Network (MM-GNN), which includes a Multi-order Moment Embedding (MME) module and an Element-wise Attention-based Moment Adaptor module. MM-GNN first calculates the multi-order moments of the neighbors for each node as signatures, and then use an Element-wise Attention-based Moment Adaptor to assign larger weights to important moments for each node and update node representations. We conduct extensive experiments on 15 real-world graphs (including social networks, citation networks and web-page networks etc.) to evaluate our model, and the results demonstrate the superiority of MM-GNN over existing state-of-the-art models.

研究の動機と目的

• 既存のGNNが近隣集約に単一の統計量（例：平均、最大値）に依存するという限界に対処すること。これは、特徴の完全な分布を捉えることができない。
• グラフ上のノード表現を区別するために、平均や分散を超える高次モーメント統計量（例：歪度、尖度）の重要性を調査すること。
• 近隣特徴の多階モーメントを明示的にモデル化するGNNアーキテクチャを設計し、より豊かな分布情報の保持を実現すること。
• ノードごとに異なるモーメント順序の重要性を動的に割り当てるアダプティブアテンションメカニズムを導入し、表現学習の向上を図ること。
• 異なるグラフタイプや訓練データ比の変動に対して、提案手法の有効性と頑健性を実証すること。

提案手法

• 各ノードの近隣特徴の有限階モーメント（最大階数Kまで）を計算するマルチオーダーモーメントエンベッディング（MME）を提案し、分布特性を捉える。
• モーメントシグネチャ全体に対してノード固有のアテンション重みを学習する要素別アテンションベースのモーメントアダプタ（AMA）を設計し、情報量の多いモーメント順序を強調する。
• MMEとAMAをメッセージスティンングフレームワークに統合し、重み付けされた多階モーメント信号を用いてノード表現を更新可能にする。
• モーメント順序ごとに要素単位で動作する学習可能なアテンションメカニズムを用い、ノードごとの適応的選択による関連する分布特徴の選択を可能にする。
• 従来の単一統計量集約器に代わるモーメント集約を用いて、標準的なGNN最適化手法でエンドツーエンドにモデルを訓練する。
• 計算コストと表現力のバランスを考慮し、有限で設定可能な最大階数Kまでにモーメント計算を制限する。

実験結果

リサーチクエスチョン

• RQ1 単一統計量集約と比較して、近隣特徴の高次モーメントをモデル化することで、GNNにおけるノード表現学習が向上するか？
• RQ2 平均、分散、歪度などの異なるモーメント順序は、一次統計量が類似するノードを区別するためにどのように寄与するか？
• RQ3 モーメント順序に対するアダプティブアテンションメカニズムは、固定または均一な重み付けと比較して、より良い性能と解釈可能性をもたらすか？
• RQ4 MM-GNNは、SNS、引用ネットワーク、Webページネットワークなど、多様なグラフタイプにおいてどのように性能を発揮するか？
• RQ5 訓練データ比の変動や最大モーメント階数Kなどのハイパーパrameterの変化に対して、MM-GNNはどれほど頑健か？

主な発見

• MM-GNNは、FacebookやChameleonなどのSNS、Cora や PubMed などの引用ネットワーク、Flickr などのWebページネットワークを含む15の実世界グラフで最先端の性能を達成した。
• Facebook SNSでは、訓練データがたった10%の状況でも優れた性能を維持し、一般化性能と頑健性の高さを示した。
• 最大モーメント階数Kが増加するにつれて性能が向上し、K ≥ 3で安定化した。これは、歪度や尖度などの高次モーメントが意味のある情報を保持していることを示している。
• アテンション可視化の結果、SNSでは高次モーメントに高い重みが割り当てられ、引用ネットワークでは低次モーメントが好まれる傾向が見られ、データの複雑さと分布パターンと整合的であった。
• アテンションメカニズムは解釈可能である：特定のモーメント順序に対する高いアテンションは、その順序の単一モーメントベースラインの性能向上と相関していた。これは、適応的選択能力の妥当性を裏付けた。
• すべての評価済みデータセットとタスクにおいて、GCN、GIN、GraphSAGE、GCNII、DAGNNといった強力なベースラインを上回った。多階モーメントモデリングの価値を確認した。