[논문 리뷰] Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping

Zhan Gao, Subhrajit Bhattacharya외 4명|arXiv (Cornell University)|2021. 06. 05.

Advanced Graph Neural Networks참고 문헌 52인용 수 12

한 줄 요약

이 논문은 그래프 신경망(GNN)의 일반화 성능을 향상시키기 위해 데이터 증강 과정에서 구조적 일관성을 유지하는 토폴로지 인식 엣지 드롭 방법인 TADropEdge를 제안한다. 그래프 스펙트럼 기반 엣지 가중치를 활용해 연결성에 핵심적인 엣지를 우선순위화함으로써, TADropEdge는 비핵심 엣지를 적응적으로 드롭하여 잡음이 많은 부분그래프를 감소시키고, 학술 및 합성 네트워크 전반에서 성능을 향상시킨다.

ABSTRACT

Graph neural networks (GNNs) are processing architectures that exploit graph structural information to model representations from network data. Despite their success, GNNs suffer from sub-optimal generalization performance given limited training data, referred to as over-fitting. This paper proposes Topology Adaptive Edge Dropping (TADropEdge) method as an adaptive data augmentation technique to improve generalization performance and learn robust GNN models. We start by explicitly analyzing how random edge dropping increases the data diversity during training, while indicating i.i.d. edge dropping does not account for graph structural information and could result in noisy augmented data degrading performance. To overcome this issue, we consider graph connectivity as the key property that captures graph topology. TADropEdge incorporates this factor into random edge dropping such that the edge-dropped subgraphs maintain similar topology as the underlying graph, yielding more satisfactory data augmentation. In particular, TADropEdge first leverages the graph spectrum to assign proper weights to graph edges, which represent their criticality for establishing the graph connectivity. It then normalizes the edge weights and drops graph edges adaptively based on their normalized weights. Besides improving generalization performance, TADropEdge reduces variance for efficient training and can be applied as a generic method modular to different GNN models. Intensive experiments on real-life and synthetic datasets corroborate theory and verify the effectiveness of the proposed method.

연구 동기 및 목표

• 제한된 훈련 데이터로 인한 GNN의 과적합 문제를 해결한다.
• DropEdge와 같은 i.i.d. 엣지 드롭 방법의 한계를 극복한다. 이러한 방법들은 구조적으로 잡음이 많은 부분그래프를 생성하여 성능을 떨어뜨린다.
• 특히 연결성과 같은 그래프 토폴로지를 엣지 드롭 과정에 통합하여 GNN 훈련의 데이터 증강을 향상시킨다.
• 다양한 GNN 아키텍처에 적용 가능한 일반적이고 모듈화된 방법을 개발하여 훈련의 안정성과 성능을 향상시킨다.
• 엣지 드롭 과정에서 토폴로지적 구조를 유지할 경우 더 효과적이고 강건한 GNN 학습이 가능하다는 것을 입증한다.

제안 방법

• 엣지 드롭 이전에 입력 그래프의 서로소 연결 성분을 식별하여 구조적 영역을 국소화한다.
• 그래프 스펙트럼에서 유도된 누적 저항 가중치를 사용해 연결성과 관련된 엣지 가중치를 계산한다. 이는 각 엣지의 연결성 유지에 대한 중요도를 정량화한다.
• 엣지 가중치를 정규화하여 상대적 중요도를 유지하면서 확률적 샘플링을 가능하게 한다.
• 낮은 정규화된 가중치를 가진 엣지를 더 자주 샘플링함으로써 적응형 엣지 드롭을 수행한다. 이는 고연결성 구조를 유지하는 데 기여한다.
• 모든 GNN 기반 모델에 적용 가능한 플러그인 모듈로 통합하여, 아키텍처 수정 없이도 훈련 과정에 적용할 수 있다.
• 결과로 생성된 엣지 드롭된 부분그래프를 증강된 훈련 데이터로 사용함으로써 모델의 일반화 능력을 향상시키고 분산을 줄인다.

실험 결과

연구 질문

• RQ1 무작위 엣지 드롭은 GNN에서 데이터 다양성과 일반화에 어떤 영향을 미치며, 왜 i.i.d. 엣지 드롭이 비효율적인가?
• RQ2 표준 데이터 증강 기법과 비교했을 때, 엣지 드롭 과정에서 그래프 연결성을 유지할 경우 GNN 성능 향상 정도는 어느 정도인가?
• RQ3 토폴로지 인식 엣지 드롭은 다양한 GNN 아키텍처에서 훈련 분산을 줄이고 강건성을 향상시킬 수 있는가?
• RQ4 학술 및 합성 그래프 벤치마크에서 TADropEdge의 성능은 최신 기술(SOTA) GNN 방법과 비교해 어떻게 되는가?
• RQ5 특히 강한 클러스터링 성질을 가진 그래프 구조에서, 이 방법은 우수한 성능을 유지하는가?

주요 결과

• TADropEdge는 Cora(88.30% 정확도, GCN 기반), CiteSeer(81.40%), PubMed(91.50%)에서 기존 SOTA 방법들인 FastGCN, AS-GCN, GraphSAGE를 능가하는 최고 성능을 기록했다.
• PubMed 데이터셋에서 TADropEdge-GCN는 3층 아키텍처로 91.50%의 정확도를 달성했으며, GraphSAGE의 87.10%와 NeuralSparse의 85.00%를 크게 앞서나갔다.
• 스토케스틱 블록 모델 그래프에서의 소스 위치 추정 작업에서, TADropEdge는 커프오프 임계값을 적용했을 때 86.0%의 정확도를 기록했으며, DropEdge(83.6%)와 원본 GCNN(82.0%)를 모두 초월했다.
• 강한 클러스터링 성질을 가진 그래프(예: Cora, CiteSeer)에서 성능 향상이 가장 두드러졌으며, 이는 토폴로지 인식 드롭이 구조적 일관성이 중요한 경우에 특히 효과적임을 시사한다.
• TADropEdge는 GCN, JKNet, IncepGCN 등 여러 GNN 기반 모델에서 일반화 능력을 지속적으로 향상시켜 모듈성과 광범위한 적용 가능성을 입증했다.
• 구조적으로 관련이 없는 왜곡된 부분그래프를 피하기 때문에 훈련 분산이 감소하여 더 안정적이고 효율적인 최적화가 가능해졌다.