[論文レビュー] SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks

Davide Buffelli, Píetro Lió+1 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本稿では、グラフ粗化を用いてサイズシフトをシミュレートし、中央モーメント差分（CMD）を用いて元のグラフ埋め込みと粗化されたグラフ埋め込みの分布的類似性を強制することにより、より大きなグラフへの一般化を向上させる正則化手法SizeShiftRegを提案する。標準的なGNN（例：GCNやPNA）に適用した場合、学習データの3〜9倍のサイズのテストグラフにおいて、性能が最大30%向上する。

ABSTRACT

In the past few years, graph neural networks (GNNs) have become the de facto model of choice for graph classification. While, from the theoretical viewpoint, most GNNs can operate on graphs of any size, it is empirically observed that their classification performance degrades when they are applied on graphs with sizes that differ from those in the training data. Previous works have tried to tackle this issue in graph classification by providing the model with inductive biases derived from assumptions on the generative process of the graphs, or by requiring access to graphs from the test domain. The first strategy is tied to the quality of the assumptions made for the generative process, and requires the use of specific models designed after the explicit definition of the generative process of the data, leaving open the question of how to improve the performance of generic GNN models in general settings. On the other hand, the second strategy can be applied to any GNN, but requires access to information that is not always easy to obtain. In this work we consider the scenario in which we only have access to the training data, and we propose a regularization strategy that can be applied to any GNN to improve its generalization capabilities from smaller to larger graphs without requiring access to the test data. Our regularization is based on the idea of simulating a shift in the size of the training graphs using coarsening techniques, and enforcing the model to be robust to such a shift. Experimental results on standard datasets show that popular GNN models, trained on the 50% smallest graphs in the dataset and tested on the 10% largest graphs, obtain performance improvements of up to 30% when trained with our regularization strategy.

研究の動機と目的

• 学習データ内のグラフよりも大きなグラフにおいて性能が著しく低下するGNNのサイズ一般化の欠如という重要な課題に取り組む。
• テスト分布のグラフへのアクセスを必要とするか、分野特有の誘導的バイアスに依存する従来手法の限界を克服する。
• アーキテクチャの変更やテスト時データのアクセスを必要とせず、任意のGNNモデルに適用可能な汎用的な正則化戦略を開発する。
• 特に大規模グラフのラベル付けが困難または不可能な状況において、グラフ分類タスクにおけるサイズシフトに対するロバスト性を向上させる。

提案手法

• 各学習グラフの粗化を適用することで、学習グラフにおけるサイズシフトをシミュレートする。
• GNNモデルが元のグラフとその粗化された対応物の両方で分布的に類似したノード埋め込みを生成するように学習する。
• 元のグラフ埋め込みと粗化されたグラフ埋め込みの分布的差を最小化するために、中央モーメント差分（CMD）を差分測度として用いる。
• CMDに基づく正則化を標準的なGNN学習目的関数に統合し、アーキテクチャの変更なしにエンドツーエンド最適化を可能にする。
• 正則化を50%最小のグラフでの学習時に適用し、10%最大のグラフでの評価を通じてサイズ一般化をテストする。
• 構造的および特徴的情報を保持する粗化関数を活用し、サイズ変換に伴う表現の忠実性を維持する。

実験結果

リサーチクエスチョン

• RQ1 データ生成プロセスに関する仮定を必要とせず、汎用的な正則化手法が、小さいグラフから大きいグラフへのGNNの一般化能力を向上させられるか？
• RQ2 粗化に基づくデータ拡張とCMD正則化を組み合わせることで、グラフ分類におけるサイズ一般化がどの程度向上するか？
• RQ3 テストデータが入手可能でない状況において、従来のドメイン適応や誘導的バイアスに依存する手法と比較して、本手法は優れているか？
• RQ4 GCN や PNA といった標準的なGNNアーキテクチャが、SizeShiftRegで学習することで、大規模グラフにおける性能をどの程度向上できるか？
• RQ5 本手法の正則化は、サイズや構造的性質が異なる多様なグラフデータセットに対して、どの程度ロバストか？

主な発見

• SizeShiftRegは、学習グラフの3〜9倍のサイズのグラフにおいて、標準的な学習手法と比較して最大30%の性能向上を達成する。
• OGB-Mol や OGB-Products、PROTEINS といったベンチマークデータセットにおいても、50%最小のグラフでの学習でも顕著な向上が見られる。
• GCN、PNA、GIN といった複数のGNNアーキテクチャにわたって正則化が有効であるため、本手法の一般化可能性が裏付けられる。
• CMDに基づく差分最小化は、MMDなどの他の差分測度よりも、サイズシフトに対するロバスト性を高める点で優れている。
• テスト分布のグラフやドメインラベルへのアクセスを必要としないため、限られたデータ環境における実用的応用が可能である。
• 実験結果から、SizeShiftRegは、学習グラフと大きく異なるサイズの分布外グラフに対しても、性能の低下を効果的に緩和することが示された。