[논문 리뷰] Out-Of-Distribution Generalization on Graphs: A Survey

Haoyang Li, Xin Wang외 2명|arXiv (Cornell University)|2022. 02. 16.

Advanced Graph Neural Networks인용 수 26

한 줄 요약

이 설문은 Graph OOD 일반화를 형식화하고, 기존 방법을 데이터, 모델, 학습 전략 가지로 분류하며, 이론과 데이터셋을 검토하고, 향후 방향을 논의한다.

ABSTRACT

Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.

연구 동기 및 목표

• Graph OOD 일반화 문제와 그 동기를 형식화합니다.
• 기존 Graph OOD 방법을 데이터, 모델, 학습 전략 클래스로 분류합니다.
• Graph OOD 일반화와 관련된 이론적 기초를 검토합니다.
• Graph OOD에 자주 사용되는 데이터셋과 평가 방법을 요약합니다.
• Graph OOD 일반화의 향후 연구에 대한 통찰과 방향을 제공합니다.

제안 방법

• 그래프 OOD 일반화를 정의하고 그래프에서의 분포 변화 도전을 강조합니다.
• 그래프 ML 파이프라인에 맞춘 3-분야 분류 체계(Data, Model, Learning Strategy)를 제안합니다.
• OOD 일반화를 향상시키기 위한 데이터 증강 전략(구조적, 특징적, 혼합형)을 자세히 설명합니다.
• 분리성과 인과성 기반 그래프 모델을 포함한 모델 기반 접근법을 설명합니다.
• 그래프 불변 학습, 그래프 적대적 학습, 그래프 자기감독 학습과 같은 학습 전략 방법을 개요를 제시합니다.

실험 결과

연구 질문

• RQ1 그래프 OOD 일반화의 형식적 문제는 무엇이며 이것이 인디스트리션 일반화와 어떻게 다른가?
• RQ2 그래프 OOD 일반화 방법은 어떻게 분류될 수 있으며 각 범주에서 대표적 기술은 무엇인가?
• RQ3 그래프 OOD 일반화를 뒷받침하는 이론은 무엇이며 이를 평가할 데이터셋은 무엇인가?
• RQ4 그래프 OOD 일반화의 주요 과제와 향후 방향은 무엇인가?
• RQ5 데이터, 모델, 학습 전략 접근법이 토폴로지 수준 및 특징 수준의 분포 시차를 다루는 데 어떻게 비교되는가?

주요 결과

• 그래프 OOD 일반화를 위한 형식적 문제 정의가 제공되며, 학습 및 테스트 분포 간의 시차를 강조합니다.
• 데이터(증강), 모델(분리성 및 인과성), 학습 전략(불변 학습, 적대적 학습, 자기감독 학습)로 구성된 3-분류 체계가 제안됩니다.
• 구조화된, 특징별, 혼합형 그래프 증강이 대표적인 방법과 함께 OOD 일반화를 개선하려는 목표를 향해 검토됩니다.
• 분리성 기반 및 인과성 기반 그래프 모델은 분포 시차 하에서 강건한 표현을 위한 핵심 모델 접근법으로 확인됩니다.
• 본 설문은 그래프 OOD 일반화를 평가하는 이론과 데이터셋을 요약하고 향후 연구 방향을 제시합니다.