[논문 리뷰] Local Augmentation for Graph Neural Networks

Songtao Liu, Ying, Rex외 7명|arXiv (Cornell University)|2021. 09. 08.

Advanced Graph Neural Networks참고 문헌 62인용 수 19

한 줄 요약

이 논문은 중심 노드의 표현을 조건으로 하여 학습된 생성 모델을 통해 합성된 근접 노드 특징을 생성하는 플러그 앤 플레인지 데이터 증강 프레임워크인 그래프 신경망을 위한 局소 증강(LAGNN)을 제안한다. 학습 중에 이러한 생성된 특징을 주입함으로써 LAGNN은 GNN 성능을 향상시키며, Cora, Citeseer, PubMed에서 GCN 및 GAT 대비 평균 3.4% 및 1.6% 향상된 테스트 정확도를 달성하여 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance on graph-based tasks. The key idea for GNNs is to obtain informative representation through aggregating information from local neighborhoods. However, it remains an open question whether the neighborhood information is adequately aggregated for learning representations of nodes with few neighbors. To address this, we propose a simple and efficient data augmentation strategy, local augmentation, to learn the distribution of the node features of the neighbors conditioned on the central node's feature and enhance GNN's expressive power with generated features. Local augmentation is a general framework that can be applied to any GNN model in a plug-and-play manner. It samples feature vectors associated with each node from the learned conditional distribution as additional input for the backbone model at each training iteration. Extensive experiments and analyses show that local augmentation consistently yields performance improvement when applied to various GNN architectures across a diverse set of benchmarks. For example, experiments show that plugging in local augmentation to GCN and GAT improves by an average of 3.4\% and 1.6\% in terms of test accuracy on Cora, Citeseer, and Pubmed. Besides, our experimental results on large graphs (OGB) show that our model consistently improves performance over backbones. Code is available at https://github.com/SongtaoLiu0823/LAGNN.

연구 동기 및 목표

• 낮은 차수를 가진 노드에서 이웃 연결성이 희박한 상황에서 GNN의 표현 능력이 제한되는 문제를 해결하기 위해.
• 실제 이웃을 초월해 국소적 이웃 정보를 풍부하게 하여 노드 표현 학습을 향상시키기 위해.
• 모든 GNN 아키텍처와 호환 가능한 일반적이고 플러그 앤 플레이 형식의 데이터 증강 프레임워크를 개발하기 위해.
• 전역 수준의 데이터 증강의 한계를 극복하기 위해 국소적이고 노드 조건부 특징 생성에 초점을 맞추기 위해.
• 강화된 이웃 특징 다양성을 통해 국소성을 유지함으로써 과도한 스무딩을 완화하기 위해.

제안 방법

• 중앙 노드의 특징을 조건으로 하여 이웃 노드 특징의 분포를 학습하기 위해 조건부 생성 모델을 사전에 훈련한다.
• 각 훈련 반복 단계에서, 중앙 노드의 이웃에 대해 학습된 조건부 분포에서 합성 특징 벡터를 샘플링한다.
• 생성된 특징은 원본 특징과 연결되어 기반 GNN 모델에 입력된다.
• 생성 모델은 GNN 훈련에서 분리되어 있어, 어떤 GNN 아키텍처와도 플러그 앤 플레이 방식으로 통합 가능하다.
• 이 방법은 이웃 특징의 조건부 분포를 모델링하기 위해 변동형 오토인코더 유사 프레임워크를 활용한다.
• 추가적인 레이블이 필요 없이 자기지도 학습 방식으로 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 합성 이웃 특징을 생성하는 국소적 데이터 증강이 저차수 노드에서 GNN 성능을 향상시킬 수 있는가?
• RQ2 중앙 노드의 표현에 기반해 이웃 특징을 생성하는 것이 전역 증강보다 더 나은 노드 표현을 만들어내는가?
• RQ3 플러그 앤 플레이 형식의 증강 프레임워크가 다양한 GNN 아키텍처와 여러 벤치마크에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 국소적 증강은 깊은 GNN에서 과도한 스무딩에 어떤 영향을 미치는가?
• RQ5 이 방법은 Open Graph Benchmark(OGB)와 같은 대규모 그래프에 일반화되는가?

주요 결과

• Cora, Citeseer, PubMed에서 LAGNN은 GCN 대비 평균 3.4%, GAT 대비 평균 1.6% 향상된 테스트 정확도를 기록한다.
• Pubmed에서 LAGNN은 차수 [2,5] 범위의 노드에서 테스트 정확도가 1.7% 향상되었고, 차수 [6,20] 범위의 노드에서는 0.2% 향상되었다.
• 반경 기반 및 특징 기반 증강 기반선인 DropEdge, G-GNN, G aug보다도 반도체 노드 분류 작업에서 성능이 뛰어나다.
• MADgap 지표는 LAGCN이 층을 거치며 표현의 다양성을 유지하거나 향상시킴을 보여주어 과도한 스무딩이 감소했음을 시사한다.
• GCN, GAT 및 기타 여러 GNN 아키텍처에 걸쳐 효과적이며, 광범위한 호환성과 일반화 능력을 입증한다.
• 제거 실험 결과 조건부 생성이 필수적임을 확인하였으며, 무작위 또는 조건부가 아닌 증강은 열등한 성능을 보였다.