[논문 리뷰] On Size Generalization in Graph Neural Networks

Gilad Yehudai, Ethan Fetaya외 3명|arXiv (Cornell University)|2021. 05. 04.

Advanced Graph Neural Networks참고 문헌 10인용 수 3

한 줄 요약

이 논문은 소규모 그래프에서 훈련된 그래프 신경망(GNNs)이 더 큰 그래프로 일반화하지 못하는 이유를 조사하며, 국소적 연결성과 특성 패턴의 분포 변화가 성능 저하를 유발함을 증명한다. 성능 저하의 근본 원인은 소규모 그래프와 대규모 그래프 간의 국소적 패턴 분포 불일치에 기인한다. 이 논문은 크기 일반화를 도메인 적응 문제로 포지셔닝하고, 다양한 벤치마크에서 미리보지 않은 대규모 그래프로의 일반화 성능을 크게 향상시키는 자기지도학습과 준지도학습 설정을 제안한다.

ABSTRACT

Graph neural networks (GNNs) can process graphs of different sizes but their capacity to generalize across sizes is still not well understood. Size generalization is key to numerous GNN applications, from solving combinatorial optimization problems to learning in molecular biology. In such problems, obtaining labels and training on large graphs can be prohibitively expensive, but training on smaller graphs is possible. This paper puts forward the size-generalization question and characterizes important aspects of that problem theoretically and empirically. We prove that even for very simple tasks, such as counting the number of nodes or edges in a graph, GNNs do not naturally generalize to graphs of larger size. Instead, their generalization performance is closely related to the distribution of local patterns of connectivity and features and how that distribution changes from small to large graphs. Specifically, we prove that for many tasks, there are weight assignments for GNNs that can perfectly solve the task on small graphs but fail on large graphs, if there is a discrepancy between their local patterns. We further demonstrate on several tasks, that training GNNs on small graphs results in solutions which do not generalize to larger graphs. We then formalize size generalization as a domain-adaption problem and describe two learning setups where size generalization can be improved. First, as a self-supervised learning problem (SSL) over the target domain of large graphs. Second as a semi-supervised learning problem when few samples are available in the target domain. We demonstrate the efficacy of these solutions on a diverse set of benchmark graph datasets.

연구 동기 및 목표

• 소규모 그래프에서 훈련된 GNNs가 이론적 능력은 갖추고 있음에도 불구하고 더 큰 그래프로 일반화하지 못하는 이유를 이해하기 위해.
• 결함 있는 크기 일반화의 근본 원인을 특정하기 위해, 소규모 그래프와 대규모 그래프 간의 국소적 연결성과 특성 패턴의 불일치에 초점을 맞춘다.
• 크기 일반화를 도메인 적응 문제로 체계화하여 체계적인 향상을 가능하게 하기 위해.
• 자기지도학습 설정과 소수의 레이블이 있는 타겟 도메인에서의 준지도학습 설정을 제안하고 평가하여 일반화 성능을 향상시키기 위해.
• 다양한 그래프 벤치마크 데이터셋에서 이러한 접근 방식의 효과를 실증적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 GNNs는 소규모 그래프에서는 단순한 작업(예: 노드/엣지 수 세기)을 완벽하게 해결할 수 있지만, 국소 패턴 분포가 다를 경우 더 큰 그래프에서는 실패함을 입증한다.
• 이 논문은 크기 일반화를 도메인 적응 문제로 프레임워크하여, 소규모 그래프를 소스 도메인으로, 대규모 그래프를 타겟 도메인으로 간주한다.
• 자기지도학습(SSL) 설정을 제안하며, 대규모 그래프에서 대비 학습을 통해 국소적 구조적 패턴과 특성 패턴을 정렬한다.
• 준지도학습 설정을 도입하여, 타겟 도메인에서 소수의 레이블이 있는 예시를 활용해 소규모 그래프에서 훈련된 모델을 미세조정한다.
• 제안된 방법들은 캐시션 네트워크와 분자 그래프를 포함한 여러 벤치마크 데이터셋에서 제안된 크기 일반화 설정 하에서 평가된다.
• 일반화 성능는 소규모 그래프에서만 훈련한 후, 제안된 방법을 사용하거나 사용하지 않은 상태에서 대규모 그래프에서의 모델 정확도를 측정하여 평가된다.

실험 결과

연구 질문

• RQ1 소규모 그래프에서 훈련된 GNNs가 노드나 엣지 수를 세는 등의 단순한 작업조차도 더 큰 그래프로 일반화하지 못하는 이유는 무엇인가?
• RQ2 소규모 그래프와 대규모 그래프 간의 국소적 연결성과 특성 패턴 분포의 변화가 GNN 일반화에 어떤 영향을 미치는가?
• RQ3 크기 일반화를 도메인 적응 문제로 간주함으로써 성능을 향상시킬 수 있는가?
• RQ4 대규모 그래프에서 자기지도학습을 통해 사전 훈련하면 GNN의 일반화 성능이 향상되는가?
• RQ5 타겟 도메인에서 소수의 레이블이 있는 예시가 준지도학습 설정에서 크기 일반화 성능을 크게 향상시킬 수 있는가?

주요 결과

• 단순한 수세기 작업조차도 국소 패턴의 분포 변화로 인해 GNNs는 더 큰 그래프로 일반화하지 못할 수 있으며, 이는 소규모 그래프에서는 완벽한 성능를 보임에도 불구하고 그렇다.
• 이론적 분석을 통해 GNNs가 본질적으로 크기 일반화가 가능한 것은 아니며, 성능는 소스 그래프와 타겟 그래프 간의 국소 패턴 분포 유사도에 따라 결정된다는 것이 확인된다.
• 대규모 그래프에서 자기지도학습을 통해 사전 훈련하면 일반화 성능이 크게 향상되며, 표준 훈련 대비 미리보지 않은 대규모 그래프에서의 성능 저하가 감소한다.
• 타겟 도메인에서 소수의 레이블이 있는 예시를 활용한 준지도학습 미세조정은 크기 일반화 성능에 상당한 향상을 이끈다.
• 제안된 방법들은 캐시션 네트워크와 분자 그래프를 포함한 다양한 그래프 데이터셋에서 표준 훈련을 뛰어넘는 일관된 성능 향상을 보였다.
• 실증 결과는 일반화 실패의 원인이 모델 용량이 아니라 국소 그래프 구조의 분포 변화 때문임을 보여준다.