[논문 리뷰] Data Augmentation for Graph Neural Networks

Tong Zhao, Yozen Liu외 4명|arXiv (Cornell University)|2020. 06. 11.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 그래프 신경망(GNN)의 반감성 노드 분류 성능을 향상시키기 위해 내부 클래스 간 엣지 강화와 외부 클래스 간 엣지 억제를 위한 신경 엣지 예측기를 활용하는 그래프 데이터 증강 프레임워크 GAug를 제안한다. GAug-M은 학습 중에 그래프를 수정하고, GAug-O는 추론 시에 증강을 생성함으로써, 다양한 데이터셋과 GNN 아키텍처에서 최대 17%p의 절대 F1 점수 향상을 달성한다.

ABSTRACT

Data augmentation has been widely used to improve generalizability of machine learning models. However, comparatively little work studies data augmentation for graphs. This is largely due to the complex, non-Euclidean structure of graphs, which limits possible manipulation operations. Augmentation operations commonly used in vision and language have no analogs for graphs. Our work studies graph data augmentation for graph neural networks (GNNs) in the context of improving semi-supervised node-classification. We discuss practical and theoretical motivations, considerations and strategies for graph data augmentation. Our work shows that neural edge predictors can effectively encode class-homophilic structure to promote intra-class edges and demote inter-class edges in given graph structure, and our main contribution introduces the GAug graph data augmentation framework, which leverages these insights to improve performance in GNN-based node classification via edge prediction. Extensive experiments on multiple benchmarks show that augmentation via GAug improves performance across GNN architectures and datasets.

연구 동기 및 목표

• 비유클리드적이고 비정규적인 구조로 인해 그래프에 대한 효과적인 데이터 증강 기법이 부족한 문제를 해결한다.
• 에러 전파 또는 무작위 엣지 조작으로 인해 문제가 되는 기존 방법들인 DropEdge, AdaEdge, BGCN 등의 한계를 극복한다.
• 노이즈 제거 및 현실적인 변형을 모방함으로써 일반화 능력을 향상시키는 원칙적인 그래프 증강 접근법을 개발한다.
• 모듈러하고 학습 가능한 증강 프레임워크를 통해 다양한 GNN 아키텍처와 데이터셋에서 일관된 성능 향상을 가능하게 한다.
• 엣지 예측 모델이 암묵적으로 클래스 동질성 경향을 학습할 수 있음을 보여주어, GNN의 메시지 전파를 향상시키기 위해 전략적인 엣지 추가 및 제거를 가능하게 한다.

제안 방법

• 노드 쌍 간 엣지 존재 가능성을 그래프 구조와 노드 특성 기반으로 학습하기 위해 신경 엣지 예측기(예: GAE)를 훈련한다.
• 엣지 예측기를 사용하여 내부 클래스 간 엣지(존재할 가능성이 높은 엣지)를 강화하고 외부 클래스 간 엣지(존재할 가능성이 낮은 엣지)를 억제함으로써 클래스 동질성 구조를 향상시킨다.
• GAug-M을 구현: GNN 학습 이전에 높은 확률의 엣지를 추가하고 낮은 확률의 엣지를 제거하여 입력 그래프를 수정한다.
• GAug-O를 구현: 원본 그래프를 수정하지 않고 추론 시에 엣지 예측기를 사용해 다수의 증강된 그래프 변형을 생성한다.
• 노드 분류 및 엣지 예측 손실을 동시에 최적화할 수 있도록 엣지 예측 모듈을 미분 가능 구성 요소로 통합한다.
• 노드 분류 손실(교차 엔트로피)과 엣지 예측 손실(예: BCE)을 조합한 다중 과제 손실을 사용하여 엣지 예측이 클래스 동질성과 일치하도록 한다.

실험 결과

연구 질문

• RQ1 신경 엣지 예측기가 그래프의 클래스 동질성 구조를 효과적으로 인코딩하여 의미 있는 데이터 증강을 이끌 수 있는가?
• RQ2 예측된 엣지 확률에 기반한 전략적 엣지 추가 및 제거가 노드 분류에서 GNN의 일반화 능력을 어떻게 향상시키는가?
• RQ3 제안된 GAug 프레임워크가 다양한 GNN 아키텍처와 데이터셋에서 기존의 증강 기반 모델인 DropEdge, AdaEdge, BGCN을 초월하는가?
• RQ4 약한 지도 학습 조건(라벨이 부족한 경우)에서 GAug는 성능을 얼마나 향상시키는가?
• RQ5 GAug 프레임워크는 아키텍처 수정 없이 다양한 GNN 아키텍처에 탄력적으로 적용될 수 있는가?

주요 결과

• GAug-M은 Cora에서 최대 17%p의 절대 F1 점수 향상을 기록했고, PPI에서는 19.2% 향상되어 기존의 GNN과 기반 모델들을 크게 능가한다.
• GAug-O는 Cora에서 최대 9%p의 절대 F1 점수 향상을 기록했고, BlogCatalog에서는 11.5% 향상되었으며, 모든 6개의 벤치마크 데이터셋에서 일관된 성능 향상을 보였다.
• GAug-M은 데이터셋과 아키텍처 평균 기준으로 DropEdge보다 4.1%, AdaEdge보다 4.8%, BGCN보다 9.3% 향상되었다.
• GAug-O는 평균적으로 DropEdge보다 2.0%, AdaEdge보다 2.7%, BGCN보다 4.9% 향상되었으며, 이는 강건성과 일반화 능력을 입증한다.
• GAug-O의 엣지 예측기에서는 내부 클래스 간 엣지 비율이 증가하고 외부 클래스 간 엣지 비율이 감소하는 경향을 보였으며, 이는 메시지 전파 향상에 이르는 이론적 기대와 일치한다.
• 약한 지도 학습 조건(소수의 라벨링된 노드)에서도 GAug는 더 많은 라벨이 있는 표준 방법과 유사한 성능을 달성하여 뛰어난 샘플 효율성을 보였다.