[논문 리뷰] Simple and Asymmetric Graph Contrastive Learning without Augmentations

Teng Xiao, Huaisheng Zhu외 2명|arXiv (Cornell University)|2023. 10. 29.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

GraphACL은 그래프에 대한 간단한 비대칭 대조 학습 목표를 도입합니다. 이는 증강이나 동질성(homophily)에 의존하지 않으며, 한 홉 이웃 맥락과 두 홉 모노필리를 효과적으로 포착하여 동질적 그래프와 이질적 그래프 모두에서 탁월함을 발휘합니다.

ABSTRACT

Graph Contrastive Learning (GCL) has shown superior performance in representation learning in graph-structured data. Despite their success, most existing GCL methods rely on prefabricated graph augmentation and homophily assumptions. Thus, they fail to generalize well to heterophilic graphs where connected nodes may have different class labels and dissimilar features. In this paper, we study the problem of conducting contrastive learning on homophilic and heterophilic graphs. We find that we can achieve promising performance simply by considering an asymmetric view of the neighboring nodes. The resulting simple algorithm, Asymmetric Contrastive Learning for Graphs (GraphACL), is easy to implement and does not rely on graph augmentations and homophily assumptions. We provide theoretical and empirical evidence that GraphACL can capture one-hop local neighborhood information and two-hop monophily similarity, which are both important for modeling heterophilic graphs. Experimental results show that the simple GraphACL significantly outperforms state-of-the-art graph contrastive learning and self-supervised learning methods on homophilic and heterophilic graphs. The code of GraphACL is available at https://github.com/tengxiao1/GraphACL.

연구 동기 및 목표

• 그래프에서 서로 다른 수준의 동질성(homophily)과 이질성(heterophily)에 대해 강인한 노드 표현 학습을 동기화합니다.
• 노드 간의 간선 기반 유사성 가정을 하지 않는 단순하고 증강-free한 대조 목표를 설계합니다.
• 비대칭 예측을 통해 한 홉 이웃 맥락과 두 홉 모노필리를 포착하여 구별력을 향상시킵니다.
• 일련의 이론적 보장을 통해 한 홉 맥락과 두 홉 유사성이 보존됨을 보입니다.
• 다양한 그래프 벤치마크에서 강력한 경험적 성능을 보여줍니다.

제안 방법

• GraphACL을 제안합니다. 이는 각 노드를 아이덴티티(노드)와 컨텍스트(이웃)로 모두 다루는 비대칭 대조 프레임워크이며 예측기를 통해 작동합니다.
• 온라인 인코더 f_theta와 타깃 인코더 f_xi를 분리하여 중심 노드 표현에 비대칭 예측기 g_phi를 적용해 이웃 표현을 예측합니다.
• 중심 노드의 예측 컨텍스트에서 이웃 표현을 예측하는 비대칭 손실 L_A를 최적화하여 직접 v-u 유사성 강제를 피합니다.
• 대표성 붕괴를 방지하기 위해 다양성을 높이는 균일성 규제 L_UNI를 포함합니다.
• L_PRE(이웃 예측)와 L_UNI를 결합해 증강 없이도 효과적으로 학습할 수 있도록 ill-posed한 결합 목표를 상한하는 안정화된 목표 L_A를 구성합니다.
• 다음과 같은 이론적 결과를 제공합니다: (i) 노드 표현과 한 홉 이웃 맥락 간의 상호 정보의 최대화, (ii) 비대칭 재구성을 통한 두 홉 모노필리의 암시적 정렬, (iii) 다운스트림 일반화 경계가 두 홉 동질성에 관련되어 있음.

실험 결과

연구 질문

• RQ1 단순하고 증강-free한 대조 목표가 동질 그래프와 이질 그래프 모두에서 노드 표현 학습에 효과적일 수 있는가?
• RQ2 이웃 신호의 비대칭 예측이 증강이나 동질성 가정에 의존하지 않고 한 홉 맥락과 두 홉 모노필리를 포착하게 하는가?
• RQ3 GraphACL 목표가 한 홉 맥락과 두 홉 유사성에 대한 상호 정보 및 두 홉 동질성과의 관계에 대한 이론적 보장은 무엇이며, 이들이 하위 작업에 어떤 영향을 주는가?

주요 결과

• GraphACL은 15개의 그래프 벤치마크에서 최첨단 성능을 달성하며, 증강 기반 방법이 어려움을 겪는 이질 그래프에서 강한 이득을 보입니다.
• 여러 데이터셋에서 GraphACL은 15개 중 14개 데이터셋에서 최상의 수행을 보이며 그래프 이질성에 대한 강건성을 보여줍니다.
• 다음의 두 번째로 좋은 방법에 비해 유의미한 개선이 관찰됩니다: 로마노(Roman)에서 4.3%, 커렐(Cornell)에서 11.6%, 텍사스(Texas)에서 14.4%, 크로커다일(Crocodile)에서 5.1%, 아카이브 연도(Arxiv-year)에서 3.1%.
• 비대칭 인코더 구성요소와 이웃 예측 목표가 이질 그래프에서 결정적임을 보여주는 제거 연구(ablation)가 있으며, 전체 모델이 여러 설정에서 최상의 성능을 제공합니다.
• 이 접근법은 그래프 증강에 의존하지 않으며 동질성을 가정하지 않는다는 점에서, 증강이나 국소적 평활성에 의존하는 기존 GCL 방법과 다릅니다.