[논문 리뷰] Generalizing Graph Neural Networks on Out-Of-Distribution Graphs

Shaohua Fan, Xiao Wang외 3명|arXiv (Cornell University)|2021. 11. 20.

Advanced Graph Neural Networks참고 문헌 61인용 수 9

한 줄 요약

이 논문은 비순차적 상관관계를 제거하기 위해 고수준 부분그래프 표현 학습과 인과 변수 구분 정규화 기법을 활용하는 인과적 표현 프레임워크인 StableGNN을 제안한다. 이는 분포 외(OOD) 그래프에서 그래프 신경망(GNN)의 일반화 성능을 향상시킨다. 이 방법은 여덟 개의 OOD 그래프 벤치마크에서 최신 기준 성능(SOTA)을 달성하며, 허위 상관관계가 아닌 진정한 구조적 모티프에 초점을 맞추어 더 뛰어난 내재성과 해석 가능성(해석 가능성)을 보여준다.

ABSTRACT

Graph Neural Networks (GNNs) are proposed without considering the agnostic distribution shifts between training and testing graphs, inducing the degeneration of the generalization ability of GNNs on Out-Of-Distribution (OOD) settings. The fundamental reason for such degeneration is that most GNNs are developed based on the I.I.D hypothesis. In such a setting, GNNs tend to exploit subtle statistical correlations existing in the training set for predictions, even though it is a spurious correlation. However, such spurious correlations may change in testing environments, leading to the failure of GNNs. Therefore, eliminating the impact of spurious correlations is crucial for stable GNNs. To this end, we propose a general causal representation framework, called StableGNN. The main idea is to extract high-level representations from graph data first and resort to the distinguishing ability of causal inference to help the model get rid of spurious correlations. Particularly, we exploit a graph pooling layer to extract subgraph-based representations as high-level representations. Furthermore, we propose a causal variable distinguishing regularizer to correct the biased training distribution. Hence, GNNs would concentrate more on the stable correlations. Extensive experiments on both synthetic and real-world OOD graph datasets well verify the effectiveness, flexibility and interpretability of the proposed framework.

연구 동기 및 목표

• 분포 이탈(OOD) 그래프에서 분포 이동으로 인해 GNN 성능이 저하되는 문제를 해결한다.
• i.i.d. 가정 하에 훈련된 GNN에서 일반화 성능이 떨어지는 데 기여하는 부분그래프 수준의 단위 간 비순차적 상관관계를 규명한다.
• 인과 추론 원리를 활용하여 OOD 환경에서도 GNN의 안정성을 향상시킬 수 있는 일반화 가능한 프레임워크를 개발한다.
• 학습 데이터에서 레이블과 관련된 비순차적 특징이 아닌 진정으로 분류에 기여하는 부분구조에 모델이 집중할 수 있도록 한다.
• 모델의 주의 메커니즘이 인과적이고 의미 있는 부분그래프 구조와 일치하도록 해석 가능성을 제공한다.

제안 방법

• 원시 그래프 데이터로부터 고수준 부분그래프 기반 표현을 엔드 투 엔드 방식으로 추출하기 위해 가역적 그래프 풀링 레이어를 도입한다.
• 비순차적 상관관계가 존재하는 비의미 있는 부분구조(예: '별' 모티프)와 레이블(예: '집' 모티프) 간의 관계를 인과적 관점에서 문제로 정의한다.
• 혼동요인 균형 기법을 영감으로 삼아, 편향된 훈련 분포를 교정할 수 있는 샘플 가중치를 학습하는 인과 변수 구분 정규화 기법(CVD)을 제안한다.
• CVD 정규화 기법을 사용해 고수준 표현과 비순차적 특징 간의 힐버트-슈미트 독립성 기준(HSIC)을 최소화함으로써 강건성을 향상시킨다.
• 표현 학습과 인과 교정을 동시에 최적화할 수 있도록 CVD 정규화 기법을 통합된 프레임워크에 통합한다.
• 학습 가능한 클러스터 할당을 통해 엔드 투 엔드 훈련을 가능하게 하여 고수준 표현의 수를 동적으로 조정할 수 있도록 한다.

Figure 1: Visualization of subgraph importance for “house” motif classification task, produced by the vanilla GCN model and StableGNN when most of training graphs containing “house” motifs with “star” motifs. The red subgraph indicates the most important subgraph used by the model for prediction (ge

실험 결과

연구 질문

• RQ1 부분그래프 단위 간 비순차적 상관관계가 OOD 환경에서 GNN의 일반화 성능에 얼마나 심각한 영향을 미치는가?
• RQ2 테스트 분포가 훈련 분포와 다를 경우, 인과적 표현 학습이 GNN의 강건성 향상에 기여하는가?
• RQ3 제안된 인과 변수 구분 정규화 기법이 그래프 수준 예측 작업에서 비순차적 특징에 대한 의존도를 효과적으로 줄이는가?
• RQ4 기존 GNN 아키텍처와의 유연한 통합이 가능하여 OOD 일반화 성능 향상에 기여하는가?
• RQ5 모델의 주의 메커니즘이 비순차적 모티프가 아닌 의미 있는 해석 가능한 부분구조(예: 분자의 기능기 등)와 일치하는가?

주요 결과

• StableGNN은 여덟 개의 실세계 OOD 그래프 데이터셋에서 최신 기준 성능(SOTA)을 달성하며, 기존 SOTA 방법인 GraphSAGE와 GraphSAGE-Decorr를 모두 능가한다.
• OGB-Mol* 벤치마크에서 StableGNN은 Molbbbp에서 90.96% ± 1.93의 정확도와 Molclintox에서 90.44% ± 0.79의 정확도를 기록하여, GraphSAGE(86.51% 및 88.89%)와 GraphSAGE-Decorr(88.89% 및 88.89%)와 비교해 유의미하게 높은 성능을 보였다.
• CVD 정규화 기법은 빠르게 수렴하여 몇 에포크 내에 HSIC 값을 크게 감소시켜 비순차적 상관관계 억제 효과가 뛰어나다는 것을 확인했다.
• 제거 실험(Ablation study) 결과, CVD 정규화 기법을 제거한 StableGNN-NoCVD는 성능 저하를 보였으며, 이는 강건성 확보를 위한 CVD의 필수성과 효과를 입증한다.
• GNNExplainer를 활용한 해석 가능성 분석 결과, StableGNN은 MUTAG에서 생물학적으로 관련성이 있는 모티프(예: NO₂ 및 NH₂)를 정확히 식별하는 반면, 기준 모델은 비순차적 특징에 집중하는 것으로 확인되었다.
• 예측 클러스터 수에 대한 민감도 분석 결과, 모든 데이터셋에서 StableGNN은 StableGNN-NoCVD를 일관되게 능가했으며, 이는 CVD 정규화 기법의 효과를 검증한다.

Figure 2: Causal graph for data generation process. Gray nodes and white nodes mean the unobserved latent variables and the observed variables, respectively.