[論文レビュー] Node Masking: Making Graph Neural Networks Generalize and Scale Better

Pushkar Mishra, Aleksandra Piktus+2 more|arXiv (Cornell University)|Jan 17, 2020

Advanced Graph Neural Networks参考文献 32被引用数 7

ひとこと要約

本稿では、トレーニング中にノードを確率的にマスクすることで、一般化性能とスケーラビリティを向上させるシンプルだが効果的な正則化手法であるノードマスキングを紹介する。関係性に依存するインダクティブバイアスを強化し、過学習を軽減することで、Cora、PubMed、Redditにおけるトランスductiveおよびインダクティブなノード分類ベンチマークで性能が向上し、キャッシュなしのGINと比較してF1スコアで最大3.5%の向上を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have received a lot of interest in the recent times. From the early spectral architectures that could only operate on undirected graphs per a transductive learning paradigm to the current state of the art spatial ones that can apply inductively to arbitrary graphs, GNNs have seen significant contributions from the research community. In this paper, we utilize some theoretical tools to better visualize the operations performed by state of the art spatial GNNs. We analyze the inner workings of these architectures and introduce a simple concept, Node Masking, that allows them to generalize and scale better. To empirically validate the concept, we perform several experiments on some widely-used datasets for node classification in both the transductive and inductive settings, hence laying down strong benchmarks for future research.

研究の動機と目的

• 最先端の空間的GNNの内部挙動を分析し、過平滑化および過学習が生じる原因を特定すること。
• トランスダクティブおよびインダクティブ学習の両設定において、GNNの一般化性能とスケーラビリティを向上させること。
• 関係性に依存するインダクティブバイアスを強化する正則化手法としてのノードマスキングを提案し、実験的に検証すること。
• 今後のGNN研究のための強固で再現可能な複数のデータ分割に関するベンチマークを確立すること。

提案手法

• ノードマスキングは、順伝播の際に訓練用ノードのサブセットを確率的にマスクすることで、GNNがノード固有の特徴よりも関係性の構造に依存するように強制する。
• 特徴やメッセージレベルのマスキングとは異なり、ノードレベルにドロップアウトに類似した正則化を適用することで、一般化性能を向上させる。
• 理論的ツールを活用してGNNの動作を可視化し、アグリゲーションダイナミクスから過平滑化および過学習がどのように生じるかを解明する。
• このアプローチはGINや他のアグリゲーションベースのGNNに適用され、トランスダクティブおよびインダクティブ設定の両方で性能が評価される。
• 1ホップの隣接ノード表現を再利用することで計算コストを低減するためのキャッシュが使用され、ノードマスキングはキャッシュを用いても性能を維持または向上させる。
• 複数のデータ分割およびモデルサイズにおいて、ノードマスキング有無のモデルを比較することで、耐久性およびスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 最先端のアグリゲーションベースのGNNでは、過平滑化および過学習はどのように生じるのか、それらの背後にあるメカニズムは何か？
• RQ2 ノードマスキングのようなシンプルで学習可能な正則化手法は、トランスダクティブおよびインダクティブなGNN設定の両方で一般化性能を向上させることができるか？
• RQ3 特に大規模グラフにおけるキャッシュと組み合わせた場合、ノードマスキングはどの程度スケーラビリティを向上させるのか？
• RQ4 特にインダクティブ設定において、推論に参加する固有のノード数を減らした場合、ノードマスキングは性能を維持または向上させるのか？

主な発見

• ノードマスキングは、インダクティブ設定においてCoraでGNNのF1スコアを最大3.93%向上させ、PubMedおよびRedditでは3.5%以上の向上を達成する。
• Coraでは、90%のトレーニングセットサイズでGIN+ノードマスキングが83.95%のF1スコアを達成し、キャッシュなしのGIN（83.07%）およびキャッシュありのGIN（82.50%）を上回る。
• PubMedでは、75%のトレーニングセットサイズで、ノードマスキングによりF1スコアがGNNの85.46%からGIN+NMの86.59%に上昇し、有意水準p < 0.05の有意差が得られた。
• GINとGIN+ノードマスキングのMAD（最大活性距離）値はほぼ同一である（例：Coraで10%のトレーニングセットサイズの場合、0.65）ため、ノードマスキングは表現力に悪影響を及げないことが示された。
• ノードマスキングは過学習を軽減する。付録の損失曲線から、より滑らかな学習ダイナミクスと複数のデータ分割にわたる良好な一般化性能が示された。
• キャッシュを用いた場合、GIN+ノードマスキングはキャッシュなしのGINの性能を維持または上回り、精度を犠牲にすることなくスケーラビリティを向上させることが示された。