[논문 리뷰] Size-Invariant Graph Representations for Graph Classification Extrapolations

Beatrice Bevilacqua, Yangze Zhou외 1명|arXiv (Cornell University)|2021. 03. 08.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 그래프 신경망이 다른 그래프 크기와 정점 속성 분포를 가진 분포 외부(OOD) 테스트 데이터로 일반화할 수 있도록 하는 인과 모델과 크기 불변 그래프 표현 방법을 제안한다. 인과와 기구 간의 독립성(ICM) 원리를 활용하고, 부분그래프의 호모모르피 밀도를 사용함으로써, 훈련 및 테스트 그래프가 크기 면에서 크게 다를 경우에도 효과적으로 외삽할 수 있는 불변 표현을 학습한다. 이는 실제 및 시뮬레이션 데이터셋에서 IRM 및 GNN 외삽 기반 기준선보다 우수한 성능을 보인다.

ABSTRACT

In general, graph representation learning methods assume that the train and test data come from the same distribution. In this work we consider an underexplored area of an otherwise rapidly developing field of graph representation learning: The task of out-of-distribution (OOD) graph classification, where train and test data have different distributions, with test data unavailable during training. Our work shows it is possible to use a causal model to learn approximately invariant representations that better extrapolate between train and test data. Finally, we conclude with synthetic and real-world dataset experiments showcasing the benefits of representations that are invariant to train/test distribution shifts.

연구 동기 및 목표

• 훈련 및 테스트 그래프가 크기와 정점 속성 분포에서 다를 때 발생하는 분포 외부(OOD) 그래프 분류 문제를 해결하기 위해.
• 훈련 중에 테스트 데이터에 접근할 수 없더라도, 새로운 테스트 분포로의 일반화가 강건하게 이루어지는 그래프 표현 방법을 개발하기 위해.
• 그래프 크기와 속성의 분포 이탈을 포괄하는 구조적 인과 모델(SCM)을 정식화하여, 불변 표현 학습을 가능하게 하기 위해.
• 작은 부분그래프의 호모모르피 밀도를 기반으로 한 불변 표현이 IRM 및 GNN 기반 외삽 기법과 비교해 더 나은 일반화 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 그래프 크기와 정점 속성의 분포 이탈을 설명하기 위해 쌍둥이 네트워크 DAG를 사용하는 구조적 인과 모델(SCM)을 정식화하여, 테스트 분포가 훈련 분포에서 어떻게 이탈할 수 있는지를 표현한다.
• 인과와 기구 간의 독립성(ICM) 가정을 적용하여, 조건부 레이블 분포 P(Y|G)가 훈련 및 테스트 분포 간에 불변하게 유지되도록 보장한다.
• 작은 부분그래프(k=4)의 호모모르피 밀도를 불변 표현으로 사용하며, Lovász-Szegedy 프레임워크를 통해 계산하여, 크기가 다른 그래프 간의 구조적 불변성을 포착한다.
• 3층의 GNN 기반 아키텍처와 MLP 분류기를 사용하며, 부분그래프 표현을 활용해 크기 불변 특징을 학습하여 OOD 테스트 데이터로의 일반화를 가능하게 한다.
• 학습률, 배치 크기, 네트워크 너비 등의 하이퍼파라미터를 튜닝하고, 검증 성능 기반 조기 정지 기법을 사용하여 과적합을 방지한다.
• 비교를 위해 동일한 OOD 분할 프로토콜 하에 표준 GNN, IRM, 그래프 커널(예: Weisfeiler-Lehman)을 평가한다.

실험 결과

연구 질문

• RQ1 테스트 데이터에 접근할 수 없을 때, 그래프 크기와 정점 속성 분포의 분포 이탈에 대해 표현을 불변으로 만들 수 있는가?
• RQ2 그래프 크기와 속성 분포의 이탈을 포괄하는 인과 모델이 그래프 분류에서 더 나은 OOD 일반화를 가능하게 하는가?
• RQ3 작은 부분그래프의 호모모르피 밀도가 OOD 그래프 분류에 효과적인 크기 불변 표현으로 기능할 수 있는가?
• RQ4 제안된 방법은 IRM 및 GNN 기반 외삽 기법과 비교해 OOD 일반화 성능에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 OOD 테스트 분할 조건 하에서 NCI1, NCI109, PROTEINS, DD 데이터셋에서 최신 기준 성능을 달성한다.
• NCI1 데이터셋에서, 이 방법은 가장 큰 10%의 그래프에서 테스트 정확도 59.56%를 기록했으며, IRM 및 GNN 기반 기준선을 초월한다.
• DD 데이터셋에서, 이 방법은 가장 큰 10%의 그래프에서 58.65%의 정확도를 달성했으며, IRM 및 GNN 기반 접근 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 테스트 그래프가 훈련 그래프보다 훨씬 클 경우에도 효과적으로 일반화되며, 강력한 외삽 능력을 입증했다.
• 그래프 커널 및 표준 GNN은 OOD 테스트 세트에서 특히 큰 그래프에서 성능이 열등하여, 불변성 없이 분포 일반화를 수행할 경우의 한계를 드러냈다.