[논문 리뷰] Mixed Graph Contrastive Network for Semi-Supervised Node Classification

Xihong Yang, Wang, Yiqi외 6명|arXiv (Cornell University)|2022. 06. 06.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 반감도 노드 분류를 위한 새로운 그래프 대비 학습 방법인 혼합 그래프 대비 네트워크(MGCN)를 제안한다. MGCN는 보간된 잠재 표현 간 선형 예측 행동을 강제로 적용하고 교차 시각 상관관계를 줄여 표현 붕괴를 방지한다. 이 방법은 이중 정규화 메커니즘을 통해 결합된 결정 경계 마진을 증가시키고 특징의 구별 능력을 향상시켜 여섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved promising performance in semi-supervised node classification in recent years. However, the problem of insufficient supervision, together with representation collapse, largely limits the performance of the GNNs in this field. To alleviate the collapse of node representations in semi-supervised scenario, we propose a novel graph contrastive learning method, termed Mixed Graph Contrastive Network (MGCN). In our method, we improve the discriminative capability of the latent embeddings by an interpolation-based augmentation strategy and a correlation reduction mechanism. Specifically, we first conduct the interpolation-based augmentation in the latent space and then force the prediction model to change linearly between samples. Second, we enable the learned network to tell apart samples across two interpolation-perturbed views through forcing the correlation matrix across views to approximate an identity matrix. By combining the two settings, we extract rich supervision information from both the abundant unlabeled nodes and the rare yet valuable labeled nodes for discriminative representation learning. Extensive experimental results on six datasets demonstrate the effectiveness and the generality of MGCN compared to the existing state-of-the-art methods. The code of MGCN is available at https://github.com/xihongyang1999/MGCN on Github.

연구 동기 및 목표

• 그래프 신경망(GNN)의 강력한 특징 학습 능력에도 불구하고 지속적인 과제로 남아 있는 표현 붕괴 문제를 해결하기 위해.
• 잠재 공간에서의 결정 경계 마진을 넓혀 노드 표현의 구별 능력을 향상시키기 위해.
• 데이터 증강된 시각 간 표현의 일관성을 향상시키기 위해 상관관계 감소 기법을 사용하기 위해.
• 통합된 대비 학습 프레임워크를 통해 풍부한 비라벨 데이터와 희소한 라벨 데이터를 효과적으로 활용하기 위해.
• 다양한 그래프 데이터셋에서 기존 최신 기술 수준의 접근법을 능가하는 일반화 가능하고 강력한 방법을 개발하기 위해.

제안 방법

• 잠재 공간에서 보간 기반 데이터 증강을 수행하는 혼합 그래프 모듈을 제안하여, 보간된 샘플 간에 예측 모델이 선형적으로 변화하도록 강제한다.
• 두 개의 증강된 시각 간의 교차 시각 상관관계 행렬을 항등행렬에 가깝게 제약하는 상관관계 감소 기법을 도입한다.
• 보간 기반의 마진 증가와 상관관계 감소를 결합하여 노드 표현의 이종 간 분리도와 내시각 일관성을 모두 향상시킨다.
• 라벨이 부여된 노드와 비라벨 노드를 모두 활용하는 대비 학습 목표를 적용하여, 보간을 통해 여러 시각을 생성하고 그들 사이의 일관성을 강제한다.
• 보간 강도를 제어하는 무거움 조정 하이퍼파rameter α를 사용하며, 실험을 통해 그 값의 변동에 대해 안정성을 입증한다.
• t-SNE와 유사도 행렬 시각화를 통해 기존 방법 대비 더 나은 군집화와 더 적은 표현 붕괴를 확인한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 보간 기반 데이터 증강이 반감도 GNN에서 결정 경계 마진을 증가시키고 표현 붕괴를 줄일 수 있는가?
• RQ2 보간된 시각 간의 교차 시각 상관관계 감소를 강제하면 학습된 노드 표현의 구별 능력이 향상되는가?
• RQ3 다양한 그래프 데이터셋에서 제안된 MGCN 방법이 최신 기술 수준의 방법과 비교해 성능과 안정성 측면에서 어떻게 다른가?
• RQ4 개별 구성 요소(Mixed Graph Module 및 상관관계 감소)가 전체 성능 향상에 얼마나 기여하는가?
• RQ5 보간 강도 및 무게 조정 파라미터와 같은 하이퍼파rameter의 변동에 대해 제안된 방법이 안정적인가?

주요 결과

• MGCN는 여섯 개인 벤치마크 데이터셋에서 기존 방법들인 GCN, GPRGNN, MVGRL, MixupForGraph를 능가하는 최신 기술 수준의 성능을 달성한다.
• 제거 실험을 통해 혼합 그래프 모듈이 여섯 데이터셋 평균에서 결정 경계 마진을 넓혀 성능을 1.81% 향상시킨다.
• 상관관계 감소 모듈은 DBLP 데이터셋에서 추가로 2.05%의 성능 향상을 기록하여 특징의 구별 능력을 향상시키는 데 효과적임을 입증한다.
• 결합된 모델(MGCN)이 최고의 성능을 기록하여 두 모듈이 상호 보완적인 이점을 제공함을 시사한다.
• 하이퍼파rameter α에 대해 성능 변동이 최소한이어서 안정성이 뛰어나며, 이는 안정성 있는 성능을 의미한다.
• t-SNE와 유사도 행렬 시각화 결과 MGCN가 기존 방법 대비 더 구별 능력 있는 표현을 학습하고 있으며, 더 명확한 군집 구조와 더 적은 표현 붕괴를 보임을 확인한다.