[논문 리뷰] SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks

Davide Buffelli, Píetro Lió외 1명|arXiv (Cornell University)|2022. 07. 16.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 그래프 신경망(GNN)의 일반화 성능을 향상시키기 위해 크기 이동을 시뮬레이션하고, 중심모멘트차이(CMD)를 사용해 원본 그래프 임베딩과 군집화된 그래프 임베딩 간의 분포 유사성을 강제하는 정규화 방법인 SizeShiftReg을 제안한다. 그래프 군집화를 통해 크기 이동을 시뮬레이션하고, 원본 그래프와 군집화된 그래프의 임베딩 간 분포 유사성을 중심모멘트차이(CMD)로 측정함으로써, 훈련 데이터보다 3~9배 큰 그래프를 가진 테스트 세트에서 표준 GNN 모델(GCN, PNA 등)의 성능을 최대 30% 향상시킨다.

ABSTRACT

In the past few years, graph neural networks (GNNs) have become the de facto model of choice for graph classification. While, from the theoretical viewpoint, most GNNs can operate on graphs of any size, it is empirically observed that their classification performance degrades when they are applied on graphs with sizes that differ from those in the training data. Previous works have tried to tackle this issue in graph classification by providing the model with inductive biases derived from assumptions on the generative process of the graphs, or by requiring access to graphs from the test domain. The first strategy is tied to the quality of the assumptions made for the generative process, and requires the use of specific models designed after the explicit definition of the generative process of the data, leaving open the question of how to improve the performance of generic GNN models in general settings. On the other hand, the second strategy can be applied to any GNN, but requires access to information that is not always easy to obtain. In this work we consider the scenario in which we only have access to the training data, and we propose a regularization strategy that can be applied to any GNN to improve its generalization capabilities from smaller to larger graphs without requiring access to the test data. Our regularization is based on the idea of simulating a shift in the size of the training graphs using coarsening techniques, and enforcing the model to be robust to such a shift. Experimental results on standard datasets show that popular GNN models, trained on the 50% smallest graphs in the dataset and tested on the 10% largest graphs, obtain performance improvements of up to 30% when trained with our regularization strategy.

연구 동기 및 목표

• 훈련 데이터의 그래프보다 더 큰 그래프에서 성능이 떨어지는 GNN의 크기 일반화 성능 열악함 문제를 해결한다.
• 테스트 분포의 그래프에 접근이 필요하거나 도메인 특화된 인덕티브 바이어스에 의존하는 기존 방법의 한계를 극복한다.
• 아키텍처 수정 없이도 어떤 GNN 모델에도 적용 가능한 일반 목적 정규화 전략을 개발한다.
• 특히 큰 그래프 레이블링이 비용이 많이 들거나 불가능한 상황에서 그래프 분류 작업의 크기 이동에 대한 내성 강화를 도모한다.

제안 방법

• 각 훈련 그래프의 군집화 기법을 적용하여 원본 그래프의 크기 이동을 시뮬레이션한다.
• 원본 그래프와 그 군집화된 복제본 간의 노드 임베딩이 분포적으로 유사하도록 GNN 모델을 훈련시킨다.
• 원본 그래프와 군집화된 그래프 임베딩 간의 분포 차이를 최소화하기 위해 중심모멘트차이(CMD)를 분포 차이 측정 지표로 사용한다.
• CMD 기반 정규화를 표준 GNN 훈련 목표에 통합하여 아키텍처 변경 없이 종단 간 최적화를 가능하게 한다.
• 크기 이동 테스트를 위해 훈련 시 50% 이하의 가장 작은 그래프에서 정규화를 적용하고, 10% 가장 큰 그래프에서 평가를 수행한다.
• 크기 변환 과정에서 구조적 및 특징 정보를 유지할 수 있도록 구조적 표현의 정밀도를 유지하는 군집화 함수를 활용한다.

실험 결과

연구 질문

• RQ1 데이터 생성 과정에 대한 가정 없이도 일반 목적 정규화 방법이 GNN의 더 큰 그래프로의 일반화 능력을 향상시킬 수 있는가?
• RQ2 군집화 기반 데이터 증강과 CMD 정규화의 조합이 그래프 분류에서 크기 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 오직 훈련 데이터만 이용 가능한 상황에서, 기존의 도메인 적응 또는 인덕티브 바이어스에 의존하는 방법보다 제안된 방법이 더 우수한가?
• RQ4 GCN 및 PNA와 같은 표준 GNN 아키텍처가 SizeShiftReg로 훈련될 경우, 큰 그래프에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 다양한 크기와 구조적 특성을 가진 다양한 그래프 데이터셋에서 이 정규화 방법이 얼마나 강건한가?

주요 결과

• SizeShiftReg는 훈련 그래프보다 3배에서 9배 큰 그래프에서 표준 훈련 대비 최대 30% 향상된 GNN 성능을 달성한다.
• OGB-Mol, OGB-Products, PROTEINS 등의 벤치마크 데이터셋에서 훈련 데이터의 50% 이하의 작은 그래프만 사용해도 상당한 성능 향상을 기록한다.
• GCN, PNA, GIN 등 여러 GNN 아키텍처에 대해 효과적이며, 이는 정규화 방법의 일반화 능력을 입증한다.
• MMD와 같은 다른 분포 차이 측정 지표에 비해 CMD 기반의 분포 차이 최소화가 크기 이동에 대한 내성 강화에 더 뛰어나다.
• 테스트 분포의 그래프나 도메인 레이블에 접근이 필요 없어, 제한된 데이터가 있는 실세계 상황에서 실용적이다.
• 실험 결과, SizeShiftReg는 훈련 그래프보다 상당히 큰 테스트 그래프에서 성능 저하를 효과적으로 완화함을 보여준다.