[논문 리뷰] From Local Structures to Size Generalization in Graph Neural Networks

Gilad Yehudai, Ethan Fetaya외 3명|arXiv (Cornell University)|2020. 10. 17.

Advanced Graph Neural Networks참고 문헌 60인용 수 9

한 줄 요약

이 논문은 국소 구조(측정 기준으로 d-패턴을 사용함)가 훈련 및 테스트 분포 간에 다를 경우 그래프 신경망(GNNs)이 작은 그래프에서 큰 그래프로 일반화하는 데 어려움을 겪는다는 점을 규명한다. 국소 구조의 의미 있는 표현을 학습하기 위한 새로운 자기지도 학습 작업을 제안하며, 실제 데이터셋에서 평균적으로 분류 정확도를 4% 향상시킨다. 특히 국소 구조의 차이가 큰 사회적 및 생물학적 네트워크에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Graph neural networks (GNNs) can process graphs of different sizes, but their ability to generalize across sizes, specifically from small to large graphs, is still not well understood. In this paper, we identify an important type of data where generalization from small to large graphs is challenging: graph distributions for which the local structure depends on the graph size. This effect occurs in multiple important graph learning domains, including social and biological networks. We first prove that when there is a difference between the local structures, GNNs are not guaranteed to generalize across sizes: there are "bad" global minima that do well on small graphs but fail on large graphs. We then study the size-generalization problem empirically and demonstrate that when there is a discrepancy in local structure, GNNs tend to converge to non-generalizing solutions. Finally, we suggest two approaches for improving size generalization, motivated by our findings. Notably, we propose a novel Self-Supervised Learning (SSL) task aimed at learning meaningful representations of local structures that appear in large graphs. Our SSL task improves classification accuracy on several popular datasets.

연구 동기 및 목표

• GNNs가 작은 그래프에서 큰 그래프로 일반화에 실패하는 시점과 이유를 이해하는 것.
• 그래프 크기에 따라 국소 구조가 달라져 일반화가 떨어지는 그래프 분포를 특정하는 것.
• d-패턴 표현을 학습함으로써 크기 일반화를 향상시키는 자기지도 학습 접근법을 제안하는 것.
• 실제 세계 데이터셋을 통해 d-패턴 불일치가 GNN 일반화에 미치는 영향을 경험적으로 검증하는 것.

제안 방법

• 논문은 d-패턴을 d-호프 이웃 영역 내의 국소 구조를 체계화하는 것으로 정의하며, 노드 차수를 일반화한다.
• 이론적으로 훈련 및 테스트 세트 간의 작은 d-패턴 불일치가 GNN에서 일반화가 불량한 전역 최소값으로 수렴할 수 있음을 증명한다.
• 큰 그래프에서 d-패턴의 의미 있는 표현을 학습하기 위한 새로운 자기지도 사전 작업을 제안한다.
• 방법은 레이블이 부여된 작은 그래프에서 학습하고, 큰 그래프에서 자기지도 작업을 적용하여 일반화를 향상시킨다.
• NCI1, DD, IMDB-Binary 및 사회 네트워크를 포함한 실제 세계 데이터셋에서 방법을 평가한다.
• 작은 그래프와 큰 그래프 간의 d-패턴 분포 불일치를 정량화하기 위해 총 변동 거리를 사용한다.

실험 결과

연구 질문

• RQ1 GNNs가 작은 그래프에서 큰 그래프로 일반화에 실패하는 조건은 무엇인가?
• RQ2 훈련 및 테스트 그래프 간 국소 구조(예: d-패턴)의 불일치가 GNN 일반화에 어떤 영향을 미치는가?
• RQ3 d-패턴 표현에 초점을 맞춘 자기지도 학습 작업이 GNN의 크기 일반화를 향상시킬 수 있는가?
• RQ4 실제 세계 그래프 데이터셋에서 작은 그래프와 큰 그래프 간에 d-패턴 불일치가 어느 정도 나타나는가?
• RQ5 제안된 자기지도 학습 방법이 큰 그래프에서 측정 가능한 성능 향상을 이끌어낼 수 있는가?

주요 결과

• 이론적 분석을 통해 국소 구조(d-패턴)가 훈련 및 테스트 그래프 간에 다를 경우 GNN이 일반화가 불량한 전역 최소값으로 수렴할 수 있음을 밝혔다.
• 경험적 결과는 d-패턴 불일치와 GNN 일반화 성능 간에 강한 음의 상관관계가 있음을 보여주며, 특히 사회적 및 생물학적 네트워크에서 두드러진다.
• IMDB-Binary, Deezer, Twitch와 같은 데이터셋에서 d-패턴 분포 간 총 변동 거리가 높게 나타나(최대 1.0), 국소 구조의 거의 겹침이 없음을 시사한다.
• 제안된 자기지도 학습 작업은 실제 데이터셋 평균적으로 분류 정확도를 4% 향상시켰으며, d-패턴 불일치가 높은 데이터셋에서 더 큰 향상을 보였다.
• Twitch 및 Deezer와 같은 사회 네트워크에서는 작은 그래프와 큰 그래프의 d-패턴이 거의 분리되어 있어, 이 방법이 특히 유용함을 확인했다.
• 반면 NCI1 및 D& D와 같은 데이터셋은 낮은 d-패턴 불일치를 보이며 자기지도 작업으로부터 최소한의 향상만을 보였으며, 이는 불일치와 성능 향상 간의 관련성을 확인한다.