[論文レビュー] Incomplete Graph Representation and Learning via Partial Graph Neural Networks

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|Mar 23, 2020

Advanced Graph Neural Networks参考文献 44被引用数 15

ひとこと要約

本稿では、属性欠損グラフを直接処理できる新規GNNフレームワークである部分グラフニューラルネットワーク（PaGNNs）を提案する。PaGNNsは、近傍集約を部分的再構成問題として再解釈することで、補完を伴わずに欠損データ上で動作する部分的集約関数を導出する。この手法により、エンドツーエンドの補完-GNN手法よりも計算コストを低減しつつ、最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) are gaining increasing attention on graph data learning tasks in recent years. However, in many applications, graph may be coming in an incomplete form where attributes of graph nodes are partially unknown/missing. Existing GNNs are generally designed on complete graphs which can not deal with attribute-incomplete graph data directly. To address this problem, we develop a novel partial aggregation based GNNs, named Partial Graph Neural Networks (PaGNNs), for attribute-incomplete graph representation and learning. Our work is motivated by the observation that the neighborhood aggregation function in standard GNNs can be equivalently viewed as the neighborhood reconstruction formulation. Based on it, we define two novel partial aggregation (reconstruction) functions on incomplete graph and derive PaGNNs for incomplete graph data learning. Extensive experiments on several datasets demonstrate the effectiveness and efficiency of the proposed PaGNNs.

研究の動機と目的

• ノード特徴量が部分的に欠損している属性欠損グラフにおけるグラフ表現学習の課題に対処すること。
• 標準GNNが完全なノード特徴量を仮定しており、欠損属性を直接処理できないという制限を克服すること。
• メッセージパッシングと欠損データ処理を統合した、別個の補完モジュールを必要としない統一的でエンドツーエンドの学習フレームワークを開発すること。
• GCN MF などの既存のエンドツーエンドモデルと比較して、計算複雑性を低減すること。

提案手法

• 標準GNNの近傍集約を、近傍再構成最適化問題として再解釈すること。
• 観測済み特徴量のみを対象に再構成誤差を最小化する制約付き最適化問題として部分的集約を定式化すること。
• 部分的集約関数の閉形式解を導出することで、バックプロパゲーション中に効率的かつ微分可能に更新できるようにすること。
• 標準GNNと同等の時間計算量を維持するGCNに類似したメッセージパッシングスキームを用いてPaGNNsを実装すること。
• 事前補完を経ずにエンドツーエンドで訓練し、欠損グラフ上で下流タスクを直接最適化すること。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける近傍集約を、欠損グラフデータを処理できる再構成問題として再解釈できるか？
• RQ2 補完を伴わずに、欠損ノード特徴量上で効果的に動作する部分的集約関数をどのように導出できるか？
• RQ3 欠損グラフのための直接的でエンドツーエンドのGNNフレームワークは、二段階手法（補完＋GNN）を上回る正確性と効率性を達成できるか？
• RQ4 提案された部分的集約スキームは、標準GNNと同等の計算効率を維持しながら、欠損データを処理できるか？
• RQ5 さまざまなグラフデータセットにおいて、欠損率が上昇するに従ってPaGNNの性能はどのようにスケーリングするか？

主な発見

• PaGNNsは、Cora、Citeseer、Amazon製品ネットワークなど、多数のデータセットでノード分類タスクにおいて最先端の性能を達成し、さまざまな欠損率下でも優れた性能を示す。
• PaGNN-N（正規化集約）はPaGNN-M（平均集約）を上回り、AmaPhotoで0.9の欠損率下で92.78%の精度を達成。これはGCN MF（90.82%）およびSAT（90.48%）を上回る。
• PaGNNsはGAIN や VAE などの補完ベース手法を顕著に上回り、特に高い欠損率（例：Coraで0.9の欠損率下で83.16% vs. GCN MFの73.42%）において顕著な優位性を示す。
• PaGNNsはGAIN、VAE、SAT、GCN MF よりも効率的であり、1エポックあたりの学習時間は標準GCNと同等で、すべての二段階ベースラインより速い。
• 90%の欠損率下でも強固な性能を維持しており、極端な特徴欠損に対しても耐性があることが示された。
• アブレーション実験では、分離した補完とGNN学習よりも、部分的集約による直接学習がより効果的であることが確認され、共同最適化の利点が裏付けられた。