[논문 리뷰] GraphPatcher: Mitigating Degree Bias for Graph Neural Networks via Test-time Augmentation

Mingxuan Ju, Tong Zhao외 3명|arXiv (Cornell University)|2023. 10. 01.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

GraphPatcher는 테스트 시점 보정 프레임워크로, 저도수 노드의 에고그래프를 손상된 상태로 복구하기 위해 반복적으로 가상 노드를 생성함으로써 그래프 신경망(GNN)의 도수 편향을 완화한다. 이는 고도수 노드의 정확도를 떨어뜨리지 않은 채 저도수 노드의 성능을 향상시키며, GNN의 저도수 노드 성능을 최대 6.5% 향상시키고 전체 성능을 최대 3.6% 향상시킨다. 최신 기준 성능을 능가하며, 모델에 종속되지 않고 즉시 사용 가능한 방식으로 작동한다.

ABSTRACT

Recent studies have shown that graph neural networks (GNNs) exhibit strong biases towards the node degree: they usually perform satisfactorily on high-degree nodes with rich neighbor information but struggle with low-degree nodes. Existing works tackle this problem by deriving either designated GNN architectures or training strategies specifically for low-degree nodes. Though effective, these approaches unintentionally create an artificial out-of-distribution scenario, where models mainly or even only observe low-degree nodes during the training, leading to a downgraded performance for high-degree nodes that GNNs originally perform well at. In light of this, we propose a test-time augmentation framework, namely GraphPatcher, to enhance test-time generalization of any GNNs on low-degree nodes. Specifically, GraphPatcher iteratively generates virtual nodes to patch artificially created low-degree nodes via corruptions, aiming at progressively reconstructing target GNN's predictions over a sequence of increasingly corrupted nodes. Through this scheme, GraphPatcher not only learns how to enhance low-degree nodes (when the neighborhoods are heavily corrupted) but also preserves the original superior performance of GNNs on high-degree nodes (when lightly corrupted). Additionally, GraphPatcher is model-agnostic and can also mitigate the degree bias for either self-supervised or supervised GNNs. Comprehensive experiments are conducted over seven benchmark datasets and GraphPatcher consistently enhances common GNNs' overall performance by up to 3.6% and low-degree performance by up to 6.5%, significantly outperforming state-of-the-art baselines. The source code is publicly available at https://github.com/jumxglhf/GraphPatcher.

연구 동기 및 목표

• 실제의 파워-레인지 도수 분포에서 저도수 노드와 고도수 노드 간 지속적인 성능 격차를 해소하기 위해.
• 기존 방법들이 인위적인 분포 외 시나리오를 생성함으로써 고도수 노드의 성능을 떨어뜨리는 한계를 극복하기 위해.
• 재학습이나 아키텍처 변경 없이도 테스트 시점에서 GNN을 향상시킬 수 있는 모델에 종속되지 않고 즉시 사용 가능한 프레임워크를 개발하기 위해.
• 반복적인 가상 노드 생성을 통해 저도수 노드의 성능을 크게 향상시키면서도 고도수 노드의 성능을 유지하거나 향상시키기 위해.
• 실제 구현 환경에서 다양한 그래프 데이터셋과 GNN 아키텍처에 대해 효과적인 도수 편향 완화를 가능하게 하기 위해.

제안 방법

• GraphPatcher는 점점 더 강한 손상 강도를 가진 에고그래프의 시퀀스를 생성하여 점차 악화되는 이웃 정보를 시뮬레이션한다.
• 손상이 가장 심한 에고그래프를 대상으로 반복적으로 가상 노드를 생성하여, 수정된 그래프에서의 고정된 GNN 예측과 손상된 버전에서의 예측이 일치하도록 한다.
• 손상된 그래프와 수정된 그래프 간의 예측 불일치를 최소화하는 미분 가능한 목적함수를 통해 가상 노드를 최적화한다.
• 이 프레임워크는 테스트 시점에 적용되며, 대상 GNN의 업데이트가 필요 없어 모델에 종속되지 않으며 플러그인 모듈로 쉽게 배포할 수 있다.
• 학습 안정성과 일반화 성능 향상을 위해 각 손상 수준에서 다수의 샘플링된 에고그래프를 사용하는 다단계 최적화 프로세스를 사용한다.
• 이 방법은 반복적 인식 과정을 영감으로 삼지만, 데이터의 정확성 유지를 목적으로 하는 것이 아니라, 최종 GNN 성능 향상을 위해 특별히 조정되어 있다.

Figure 1 : The classification accuracy of GCN and SoTA frameworks that mitigate degree biases.

실험 결과

연구 질문

• RQ1 테스트 시점 보정 프레임워크는 고도수 노드 성능을 떨어뜨리지 않으면서도 저도수 노드의 GNN 성능을 향상시킬 수 있는가?
• RQ2 가상 노드 생성은 어떻게 최적화되어야 하며, 원래 GNN의 인덕티브 바이어스를 유지하면서 흩어진 이웃에 대한 예측을 향상시킬 수 있는가?
• RQ3 모델에 종속되지 않고 즉시 사용 가능한 프레임워크는 다양한 그래프 데이터셋과 GNN 아키텍처에서 도수 편향을 어느 정도 완화할 수 있는가?
• RQ4 제안된 방법은 지도 학습 및 자기지도 학습 GNN 모두에 일반화되는가? 특히 GRAND와 같은 최신 기준 모델에도 적용 가능한가?
• RQ5 반복적인 가상 노드 생성 전략은 기존의 데이터 증강 또는 그래프 생성 기법과 성능 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• GraphPatcher는 일곱 개의 벤치마크 데이터셋에서 저도수 노드의 GNN 성능을 최대 6.5% 향상시키며, 기존의 베이스라인을 크게 능가한다.
• 전체 GNN 성능은 최대 3.6% 향상되어 다양한 그래프 유형과 아키텍처에서 일관된 성과를 보였다.
• 프레임워크는 고도수 노드의 원래 GNN 성능을 유지하거나 향상시키며, 이는 이전 방법에서 관찰된 성능 트레이드오프를 피하고 있다.
• GraphPatcher는 지도 학습 및 자기지도 학습 GNN 모두에 효과적이며, GRAND와 같은 최신 기준 모델에서도 성능을 추가로 향상시켜 이전의 최고 성능(SoTA)을 초월한다.
• 이 방법은 모델에 종속되지 않으며 재학습이나 아키텍처 변경이 필요 없어 기존의 생산 파이프라인에 원활하게 통합될 수 있다.
• 추가적인 계산 비용은 관리 가능하며, 모든 에고그래프가 사전에 생성되어 최적화 과정에서 중복 계산을 방지한다.

Figure 2 : GraphPatcher is presented ego-graphs corrupted by increasing strengths (i.e., the top half of the figure). From the most corrupted graph, it iteratively generates patching nodes to the anchor node, such that the target GNN behaves similarly given the currently patched graph or the corrupt