[논문 리뷰] Handling Distribution Shifts on Graphs: An Invariance Perspective

Qitian Wu, Hengrui Zhang외 2명|arXiv (Cornell University)|2022. 02. 05.

Health, Environment, Cognitive Aging인용 수 30

한 줄 요약

이 논문은 노드 수준 그래프 예측에 대한 분포 밖 일반화를 수립하고, Adversarial 그래프 편집기를 이용해 불변 특징을 강화하고 분포 이동 하에서 GNN 강건성을 개선하는 Explore-to-Extrapolate Risk Minimization(EERM)을 도입합니다.

ABSTRACT

There is increasing evidence suggesting neural networks' sensitivity to distribution shifts, so that research on out-of-distribution (OOD) generalization comes into the spotlight. Nonetheless, current endeavors mostly focus on Euclidean data, and its formulation for graph-structured data is not clear and remains under-explored, given two-fold fundamental challenges: 1) the inter-connection among nodes in one graph, which induces non-IID generation of data points even under the same environment, and 2) the structural information in the input graph, which is also informative for prediction. In this paper, we formulate the OOD problem on graphs and develop a new invariant learning approach, Explore-to-Extrapolate Risk Minimization (EERM), that facilitates graph neural networks to leverage invariance principles for prediction. EERM resorts to multiple context explorers (specified as graph structure editers in our case) that are adversarially trained to maximize the variance of risks from multiple virtual environments. Such a design enables the model to extrapolate from a single observed environment which is the common case for node-level prediction. We prove the validity of our method by theoretically showing its guarantee of a valid OOD solution and further demonstrate its power on various real-world datasets for handling distribution shifts from artificial spurious features, cross-domain transfers and dynamic graph evolution.

연구 동기 및 목표

• 그래프에서 노드 수준 작업의 OOD 문제를 자기-그래프(ego-그래프)와 지역 데이터 생성 활용으로 형식화합니다.
• 그래프 예측을 위한 안정적이고 불변인 특징을 추출하기 위한 불변성 기반 학습 패러다임을 개발합니다.
• EERM을 제안하여 적대적 그래프 편집을 통해 여러 환경을 시뮬레이션하고 위험의 평균과 분산을 최소화하도록 모델을 학습합니다.
• 불변성 중심의 목표와 유효한 OOD 솔루션 및 OOD 오차의 상한을 연결하는 이론적 보장을 제공합니다.
• 다양한 현실 그래프 데이터셋과 다양한 GNN 백본 및 분포 이동 시나리오에서 EERM을 실증적으로 검증합니다.

제안 방법

• 타깃 노드 주변의 Ego-그래프 G_v를 정의하여 노드 수준의 OOD를 위한 그래프 데이터를 분해하고 이중 샘플링 관점을 가능하게 합니다.
• Assumption 1(Invariance Property)와 재귀적이고 BFS 트리 기반의 리드아웃 r_v를 제시하여 불변 예측 특징을 포착합니다.
• 다중 환경의 위험 평균-분산의 가중합을 최소화하는 EERM 목표(Eq. 4)를 도입합니다.
• K개의 보조 맥락 생성기 g_wk(G)을 사용하여 적대적 그래프 편집을 통해 K개의 그래프 뷰를 생성하고, 생성기는 위험 분산을 최대화하도록, 예측기는 이를 최소화하도록 학습합니다(Eq. 5).
• 그래프 뷰를 구성할 때 비 미분 가능성에도 불구하고 학습 가능한 학습 가능성을 높이기 위해 edge-editing 행동을 최적화하기 위해 REINFORCE를 사용합니다.
• 불변 표현에서 최적 OOD 해법으로의 수단성과 OOD 일반화 오차의 상한을 제시하는 이론적 결과(정리 1–3)를 제공합니다.

실험 결과

연구 질문

• RQ1 그래프의 상호 연결된 데이터와 그래프 구조를 고려할 때 노드 수준 작업에 대한 OOD 일반화를 어떻게 형식화할 수 있는가?
• RQ2 환경 간에 안정한 예측을 제공하는 그래프에 대한 불변성 기반 표현을 학습할 수 있는가?
• RQ3 적대적 그래프 편집에 대한 평균-분산 위험 최소화를 강제하는 것이 보이지 않는 환경으로의 외삽을 개선하는가?
• RQ4 제안된 불변 학습 목표를 유효한 OOD 솔루션과 제한된 OOD 오차와 연결하는 이론적 보장은 무엇인가?
• RQ5 다양한 데이터세트와 GNN 백본에서의 실험이 분포 이동 하에서 견고한 개선을 보이는가?

주요 결과

• 제안된 EERM 방법은 인공적, 교차 도메인 및 동적 그래프 이동하에서 여러 데이터셋에서 표준 경험적 위험 최소화보다 일관되게 우수한 성능을 보인다.
• 재귀적 BFS-트리 집계에 기반한 불변 리드아웃이 환경 간에 안정적인 예측 특징을 포착한다.
• K 컨텍스트 생성기에 의해 생성된 적대적 그래프 편집은 REINFORCE로 최적화되어 여러 환경을 효과적으로 시뮬레이션하여 견고한 학습을 가능하게 한다.
• 이론적 분석은 EERM 목표를 최소화하는 것이 학습 표현의 충분성과 불변성을 강제하여 유효한 OOD 솔루션과 OOD 오차의 상한 감소로 이어진다고 제시한다.
• 경험적 결과는 EERM이 GCN, GAT, GraphSAGE, GCNII, GPRGNN 등 다양한 GNN 백본에서 분포 이동 하에서 일반화 성능을 개선함을 보여준다.