[논문 리뷰] Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data

Qi Zhu, Natalia Ponomareva외 2명|arXiv (Cornell University)|2021. 08. 02.

Advanced Graph Neural Networks인용 수 36

한 줄 요약

SR-GNN은 편향된 학습 라벨과 그래프 추론 분포 간의 분포 변화(distributional shift)를 완화하는 일반 프레임워크로, 깊은 GNN 및 선형화된 GNN 모두에서 반지도 학습 노드 분류를 향상시킨다.

ABSTRACT

There has been a recent surge of interest in designing Graph Neural Networks (GNNs) for semi-supervised learning tasks. Unfortunately this work has assumed that the nodes labeled for use in training were selected uniformly at random (i.e. are an IID sample). However in many real world scenarios gathering labels for graph nodes is both expensive and inherently biased -- so this assumption can not be met. GNNs can suffer poor generalization when this occurs, by overfitting to superfluous regularities present in the training data. In this work we present a method, Shift-Robust GNN (SR-GNN), designed to account for distributional differences between biased training data and the graph's true inference distribution. SR-GNN adapts GNN models for the presence of distributional shifts between the nodes which have had labels provided for training and the rest of the dataset. We illustrate the effectiveness of SR-GNN in a variety of experiments with biased training datasets on common GNN benchmark datasets for semi-supervised learning, where we see that SR-GNN outperforms other GNN baselines by accuracy, eliminating at least (~40%) of the negative effects introduced by biased training data. On the largest dataset we consider, ogb-arxiv, we observe an 2% absolute improvement over the baseline and reduce 30% of the negative effects.

연구 동기 및 목표

• 비 IID, 편향된 라벨 샘플링이 GNN 일반화에 미치는 영향의 동기 부여 및 정량화(반지도 학습 노드 분류 내에서).
• 편향된 학습 데이터와 실제 그래프 분포 간의 분포 변화에 모델을 적응시키기 위해 Shift-Robust GNN(SR-GNN)을 도입합니다.
• 깊은 GNN의 은닉층 규제와 선형화된 GNN의 인스턴스 재가중화를 통해 변화(shift) 문제를 다루는 메커니즘을 제안합니다.
• 다양한 GNN 아키텍처와의 통합 프레임워크를 제공하고 제어된 편향 하에서의 표준 벤치마크에서 효과를 검증합니다.

제안 방법

• 그래디언트 가능한 GNN에서 학습 표현 Z_train과 IID 표현 Z_IID 사이의 차이로 정의되는 GNN의 분포 변화를 마지막 은닉층에서 만들어지는 표현의 차이로 보겠습니다.
• CMD 기반의 차이 정규화를 사용하여 편향된 학습 표현 Z_train과 IID 표준의 표현 Z_IID 간의 변화를 최소화합니다.
• 선형화된 GNN의 경우 커널 평균 일치(KMM)를 통한 인스턴스 재가중화를 적용하여 도출된 그래프-유도 바이어스 특징 h_i를 IID 유사 샘플 h_i'와 일치시키는 Convex Quadratic Program을 구성합니다.
• Cross-Entropy 손실과 CMD 정규화를 결합하고 가능하면 인스턴스 가중 손실 항을 포함하는 통합된 SR-GNN 목적함수를 제안합니다.
• 특징 인코딩과 그래프 유도 바이어스가 함께 디바이어스될 수 있는 APPNP 기반의 구체적 구현을 예시로 제시합니다.
• SR-GNN의 적용 가능성을 GCN 및 DGI와 같은 추가 모델에도 규제 및 재가중화 구성요소를 통해 보여줍니다.

실험 결과

연구 질문

• RQ1 편향된(지역화된) 학습 라벨 선택이 전체 그래프에서의 GNN 일반화에 어떤 영향을 미치는가?
• RQ2 깊은 GNN 및 선형화된 GNN 전반에서 편향된 학습 데이터와 그래프 전체 추론 분포 간의 분포 변화를 SR-GNN 프레임워크가 감소시킬 수 있는가?
• RQ3 CMD 기반 정규화와 인스턴스 재가중화 기법이 GNN 학습의 편향 완화에 서로 보완적으로 작용하는가?
• RQ4 제어된 라벨링 편향 하에서 표준 벤치마크에서의 SR-GNN의 실험적 효과성은 어느 정도이며, 도메인 적응 베이스라인과 비교하면 어떤가?

주요 결과

• 편향된 학습 샘플은 일반적인 GNN 벤치마크에서 측정 가능한 성능 저하를 야기하며, 디바이어싱 접근의 필요성을 시사합니다.
• SR-GNN은 분포 변화의 영향을 지속적으로 감소시키며, 여러 데이터셋에서 편향 유발 성능 저하를 최소화하는 효과를 약 40% 이상 달성합니다.
• ogb-arxiv에서 SR-GNN은 기준선 대비 절대 정확도 2% 향상을 보이며 학습 데이터 편향의 부정적 영향의 약 30%를 완화합니다.
• 차이 정규화와 인스턴스 재가중화를 함께 결합하면 편향 보정 방법 중 하나만 사용할 때보다 더 강력한 성능 향상을 보입니다.
• SR-GNN은 깊은 GCN 유사 모델과 선형화된 GNN(APPNP, SGC 등) 모두에 효과적으로 적용될 수 있으며 이 설정에서 DANN과 같은 도메인 적대적 방법보다 우수한 성능을 보일 수 있습니다.
• 대규모 벤치마크(Reddit, ogb-arxiv)에서 SR-GNN은 ΔF1 손실을 줄이고 낮은 라벨 regime에서도 경쟁력 있는 정확도를 유지합니다.