[論文レビュー] Size-Invariant Graph Representations for Graph Classification Extrapolations

Beatrice Bevilacqua, Yangze Zhou+1 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、分布外（OOD）のテストデータに対して、異なるグラフサイズおよび頂点属性分布を有するグラフニューラルネットワーク（GNN）の一般化を可能にする、因果モデルとサイズ不変のグラフ表現手法を提案する。原因と機構の独立性（ICM）を活用し、部分グラフからのホモモルフィズム密度を用いることで、トレーニングとテストのグラフが著しく異なる場合でも、効果的に外挿できる不変表現を学習する。実世界および合成データセットにおいて、IRM や GNN の外挿ベースラインを上回る性能を示した。

ABSTRACT

In general, graph representation learning methods assume that the train and test data come from the same distribution. In this work we consider an underexplored area of an otherwise rapidly developing field of graph representation learning: The task of out-of-distribution (OOD) graph classification, where train and test data have different distributions, with test data unavailable during training. Our work shows it is possible to use a causal model to learn approximately invariant representations that better extrapolate between train and test data. Finally, we conclude with synthetic and real-world dataset experiments showcasing the benefits of representations that are invariant to train/test distribution shifts.

研究の動機と目的

• トレーニングとテストのグラフがサイズおよび頂点属性分布で異なる、分布外（OOD）グラフ分類の課題に対処すること。
• トレーニング時にテストデータにアクセスできない状況でも、未知のテスト分布に強く一般化できるグラフ表現手法を開発すること。
• グラフサイズおよび属性の分布シフトを捉える構造的因果モデル（SCM）を形式化し、不変表現学習を可能にすること。
• ホモモルフィズム密度に基づく不変表現が、IRM や GNN に基づく外挿手法と比較して、より優れた一般化性能を示すことを実証すること。

提案手法

• トレーニング分布からテスト分布へのグラフサイズおよび頂点属性のシフトを表現するため、ツインネットワークDAGを用いた構造的因果モデル（SCM）を形式化する。
• 原因と機構の独立性（ICM）仮定を適用し、条件付きラベル分布 P(Y|G) がトレーニングおよびテスト分布間で不変であることを保証する。
• 小さな部分グラフ（k=4）のホモモルフィズム密度を不変表現として用い、Lovász-Szegedyフレームワークを介して計算することで、異なるサイズのグラフ間での構造的不変性を捉える。
• 3層のGNNアーキテクチャとMLP分類器を用い、部分グラフ表現を活用してサイズ不変の特徴を学習し、OODテストデータに一般化する。
• 学習率、バッチサイズ、ネットワーク幅などのハイパーパrameterを調整し、検証性能に基づく早期停止を用いて過学習を防止する。
• 比較のため、同じOODスプリットプロトコル下で、標準GNN、IRM、およびグラフカーネル（例：Weisfeiler-Lehman）を評価する。

実験結果

リサーチクエスチョン

• RQ1 テストデータにアクセスできない状況下でも、グラフサイズおよび頂点属性の分布シフトに対して不変なグラフ表現を構築できるか？
• RQ2 グラフサイズおよび属性分布のシフトを捉える因果モデルが、グラフ分類におけるOOD一般化を向上させられるか？
• RQ3 小さな部分グラフのホモモルフィズム密度が、OODグラフ分類に効果的かつサイズ不変の表現として機能できるか？
• RQ4 提案手法は、IRM や GNN に基づく外挿手法と比較して、OOD一般化性能において優れているか？

主な発見

• 提案手法は、OODテストスプリット下でNCI1、NCI109、PROTEINS、DDデータセットにおいて、最先端のOOD一般化性能を達成した。
• NCI1データセットでは、最大10%のグラフサイズを有するテストデータに対して59.56%のテスト精度を達成し、IRMおよびGNNベースラインを上回った。
• DDデータセットでは、最大10%のグラフサイズを有するテストデータに対して58.65%の精度を達成し、IRMおよびGNNベースのアプローチを著しく上回った。
• テストグラフがトレーニンググラフよりもはるかに大きい場合でも、本手法は効果的に一般化でき、強力な外挿能力を示した。
• グラフカーネルおよび標準GNNは、OODテストセット、特に大きなグラフにおいては性能が著しく劣り、分布一般化の限界が不変性の欠如に起因することを示した。