[논문 리뷰] Data-centric Graph Learning: A Survey

Yuxin Guo, Deyu Bo외 6명|arXiv (Cornell University)|2023. 10. 08.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합 검토에서는 그래프 학습을 위한 데이터 중심 프레임워크를 소개하며, 학습 단계(사전 처리, 학습, 추론)와 데이터 구조(구조, 특징, 레이블)에 따라 방법을 분류한다. 성능 향상을 위해 그래프 데이터를 언제이고 어떻게 수정할지 안내하기 위해 새로운 분류 체계를 제안하며, 편향, 노이즈, 이형성과 같은 문제들을 데이터 중심 솔루션으로 해결한다.

ABSTRACT

The history of artificial intelligence (AI) has witnessed the significant impact of high-quality data on various deep learning models, such as ImageNet for AlexNet and ResNet. Recently, instead of designing more complex neural architectures as model-centric approaches, the attention of AI community has shifted to data-centric ones, which focuses on better processing data to strengthen the ability of neural models. Graph learning, which operates on ubiquitous topological data, also plays an important role in the era of deep learning. In this survey, we comprehensively review graph learning approaches from the data-centric perspective, and aim to answer three crucial questions: (1) when to modify graph data, (2) what part of the graph data needs modification to unlock the potential of various graph models, and (3) how to safeguard graph models from problematic data influence. Accordingly, we propose a novel taxonomy based on the stages in the graph learning pipeline, and highlight the processing methods for different data structures in the graph data, i.e., topology, feature and label. Furthermore, we analyze some potential problems embedded in graph data and discuss how to solve them in a data-centric manner. Finally, we provide some promising future directions for data-centric graph learning.

연구 동기 및 목표

• 그래프 학습에서 모델 아키텍처에서 데이터 품질과 처리로의 초점을 이동시켜 증가하는 데이터 중심 접근의 필요성을 해결하기 위해.
• 최적의 모델 성능를 위해 그래프 학습 파이프라인(사전 처리, 학습, 추론)의 어느 단계에서 데이터 수정이 이루어져야 할지를 규명하기 위해.
• 그래프 신경망의 잠재력을 극대화하기 위해 그래프 데이터의 구성 요소 중 어떤 것—구조, 특징, 또는 레이블—을 수정해야 할지를 결정하기 위해.
• 노이즈, 편향, 이형성과 같은 문제적 데이터의 영향을 데이터 중심 전략으로 완화하기 위해.
• 표준화, 지속적 학습, 협업 설계를 강조하여 그래프 데이터와 모델의 공동 개발을 위한 향후 방향을 제안하기 위해.

제안 방법

• 그래프 학습 파이프라인 단계인 사전 처리, 학습, 추론에 기반한 새로운 분류 체계를 제안하여 데이터 수정 결정을 안내한다.
• 데이터 구조—구조, 특징, 레이블—기반으로 데이터 중심 방법을 분류하여 각각에 대한 대상별 처리 전략을 제공한다.
• 데이터 품질 향상과 모델의 강건성 향상을 위해 데이터 증강, 그래프 구조 학습, 특징/레이블 정제를 핵심 기법으로 도입한다.
• 선택 편향, 부당성, 비합리적 상관관계를 탐지하고 완화하기 위해 비지도 및 자기지도 방법을 적용한다.
• 모델 예측을 활용해 반복적으로 그래프 데이터를 정제함으로써 지속적 학습과 데이터 진화를 가능하게 한다.
• GraphStorm와 같은 프레임워크를 사례로 삼아 통합 설계를 통해 그래프 데이터와 모델의 공동 개발을 제안한다.

실험 결과

연구 질문

• RQ1 그래프 학습 파이프라인에서 모델 성능을 극대화하기 위해 그래프 데이터를 언제 수정해야 하는가?
• RQ2 그래프 데이터의 구성 요소 중 구조, 특징, 레이블 중 어떤 것이 그래프 모델의 표현 능력에 가장 크게 영향을 미치는가?
• RQ3 데이터 중심 방법은 실세계 그래프에서 노이즈, 편향, 이형성에 대비해 그래프 모델을 어떻게 보호할 수 있는가?
• RQ4 지속적 학습과 모델 피드백은 시간이 지남에 따라 그래프 데이터를 어떻게 정교화하는 데 기여할 수 있는가?
• RQ5 데이터 중심 철학에서 그래프 데이터와 모델은 어떻게 공동 개발되어 상호 최적화를 이룰 수 있는가?

주요 결과

• 데이터 중심 접근는 모델 복잡성보다 데이터 품질에 초점을 맞춤으로써 그래프 신경망 성능을 크게 향상시킨다.
• 구조 학습이나 증강을 통해 그래프 구조를 수정하면 일반화 능력이 향상되며, 특히 이형성 그래프에서 두드러진다.
• 특징 및 레이블 정제 기법은 노이즈 또는 편향이 있는 데이터의 영향을 줄여 모델의 공정성과 강건성을 향상시킨다.
• 비지도 및 자기지도 방법은 노드 표현에서 선택 편향과 비합리적 상관관계를 탐지하고 완화할 수 있다.
• 모델 예측을 사용해 그래프 데이터를 반복적으로 정제하는 지속적 학습 프레임워크는 적응형이고 진화하는 데이터 파이프라인을 가능하게 한다.
• GraphStorm와 같은 사례에서 보듯이 데이터와 모델의 공동 개발은 더 효율적이고 효과적인 그래프 학습 시스템을 이끈다.