[논문 리뷰] Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples

Jiawei Zhu, Hong Mei외 2명|arXiv (Cornell University)|2022. 12. 08.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 구조적으로 동일한 비근접 노드를 양성 샘플로 활용하여 그래프 신경망에서 이웃 편향을 완화하기 위해 구조적 등가성을 기반으로 한 위상 신호 주도 자기 지도 학습 방법을 제안한다. 지속성 호몰로지( persistent homology )를 사용해 다중 척도 위상 특징을 추출하고, 노드 쌍 간의 구조적 등가성을 계산하며, 높은 등가성을 가진 비근접 노드를 표현 공간에서 가까이 끌어들이기 위해 위상 손실을 적용함으로써, 일곱 개의 벤치마크 데이터셋에서 노드 분류 정확도가 크게 향상된다.

ABSTRACT

In recent years, using a self-supervised learning framework to learn the general characteristics of graphs has been considered a promising paradigm for graph representation learning. The core of self-supervised learning strategies for graph neural networks lies in constructing suitable positive sample selection strategies. However, existing GNNs typically aggregate information from neighboring nodes to update node representations, leading to an over-reliance on neighboring positive samples, i.e., homophilous samples; while ignoring long-range positive samples, i.e., positive samples that are far apart on the graph but structurally equivalent samples, a problem we call "neighbor bias." This neighbor bias can reduce the generalization performance of GNNs. In this paper, we argue that the generalization properties of GNNs should be determined by combining homogeneous samples and structurally equivalent samples, which we call the "GC combination hypothesis." Therefore, we propose a topological signal-driven self-supervised method. It uses a topological information-guided structural equivalence sampling strategy. First, we extract multiscale topological features using persistent homology. Then we compute the structural equivalence of node pairs based on their topological features. In particular, we design a topological loss function to pull in non-neighboring node pairs with high structural equivalence in the representation space to alleviate neighbor bias. Finally, we use the joint training mechanism to adjust the effect of structural equivalence on the model to fit datasets with different characteristics. We conducted experiments on the node classification task across seven graph datasets. The results show that the model performance can be effectively improved using a strategy of topological signal enhancement.

연구 동기 및 목표

• 모델이 이웃(동형성 있는) 양성 샘플에 과도하게 의존하고 먼 거리에 있는 구조적으로 동일한 노드를 제대로 활용하지 못하는 그래프 자기 지도 학습에서의 이웃 편향 문제를 해결하기 위해.
• 직접 연결되어 있지 않지만 유사한 위상적 역할을 하는 노드 쌍—즉, 구조적으로 동일한 노드 쌍—을 식별하고 이를 양성 샘플로 활용하는 방법을 제안하기 위해.
• 동형성과 구조적 등가성 양성 샘플을 통합함으로써 그래프 표현 학습의 일반화 성능을 향상시키기 위해, GC 조합 가설에 의해 수식화된 바와 같이.
• 데이터셋 특성에 따라 구조적 등가성의 영향력을 적응적으로 조정할 수 있는 공동 학습 기반 메커니즘을 개발하기 위해.

제안 방법

• 노드의 다중 척도 위상적 구조를 캡처하는 지속성 호몰로지( persistent homology )를 사용해 다중 척도 위상 특징을 추출한다.
• 지속성 호몰로지에서 유도된 위상적 특징을 바탕으로 노드 쌍 간의 구조적 등가성을 계산한다.
• 구조적 등가성이 높은 비근접 노드 쌍이 표현 공간에서 가까워지도록 유도하는 위상 손실 함수를 설계한다.
• 표준 대비 학습과 함께, 동형성과 구조적 등가성을 균형 잡기 위해 하이퍼파rameter λ로 제어되는 공동 학습 기반 메커니즘을 통해 위상 손실을 통합한다.
• 지속성 호몰로지에 대한 대체 할당 함수로 노드 차수와 리치 곡률을 사용하였으며, 결과적으로 함수 선택에 대해 강건함을 입증하였다.
• 지속성 이미지 생성에 다양한 해상도 설정을 적용하여 다양한 정밀도 수준에서 위상 특징을 특성화하였으며, 크기와 밀도가 다른 다양한 데이터셋에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 동형성 있는 이웃 외의 구조적으로 동일한 비근접 노드가 그래프 자기 지도 학습에서 효과적인 양성 샘플이 될 수 있는가?
• RQ2 지속성 호몰로지로 추출한 위상 특징을 어떻게 활용하여 노드 간의 구조적 등가성을 식별하고 측정할 수 있는가?
• RQ3 이웃 기반 양성 샘플에만 의존하는 것과 비교해, 구조적 등가성을 통합함으로써 그래프 신경망의 일반화 성능 향상이 이루어지는가?
• RQ4 위상 기술(예: 차수 대비 리치 곡률)의 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ5 다양한 그래프 특성에 맞는 지속성 호몰로지에서 위상 특징을 표현하기 위한 최적의 해상도는 무엇인가?

주요 결과

• 제안된 방법은 일곱 개의 벤치마크 데이터셋 전부에서 노드 분류 정확도를 향상시켰으며, 기준 모델 대비 1.6%에서 2.6%까지 성능 향상을 기록하였다.
• Cora에서 λ=0.1일 때 모델은 84.3%의 정확도를 달성하여 기준 모델의 82.7%를 초월하였다.
• Amazon Photo에서 λ=0.3일 때 모델은 93.7%의 정확도를 기록하여 기준 모델의 92.2%를 초월하였다.
• 지속성 이미지 생성에서 더 세밀한 해상도를 사용할수록 Cora와 Citeseer와 같은 소규모·희박한 그래프에서 성능 향상이 있었으며, 반대로 Coauthor Physics와 같은 대규모·밀도 높은 그래프에서는 더粗略한 해상도가 더 우수한 성능을 보였다.
• 노드 차수와 리치 곡률을 사용한 위상 할당 함수의 선택에 대해 모델이 강건함을 보였으며, 두 경우 모두 유사한 성능 향상을 기록하였다.
• λ를 활용한 공동 학습을 통해 동형성과 구조적 등가성 간의 영향력을 적응적으로 조정할 수 있었고, 다양한 데이터셋에서 일관된 성능 향상이 관찰되었다.