[논문 리뷰] Calibrating and Improving Graph Contrastive Learning

Kaili Ma, Haochen Yang외 3명|arXiv (Cornell University)|2021. 01. 27.

Advanced Graph Neural Networks참고 문헌 53인용 수 6

한 줄 요약

이 논문은 대조 손실 최소화와 최종 작업 성능 간의 일치를 확보함으로써 그래프 대비 학습을 향상시키는 플러그인 정규화 방법인 Contrast-Reg를 제안한다. 대조 쌍에서 예측과 진짜 라벨 간의 불일치를 평가하기 위해 기대 캘리브레이션 오차(ECE)를 적응시켜, 손실 감소가 최종 작업 정확도 향상으로 이어지도록 보장함으로써, 다양한 GNN 백본과 대비 학습 프레임워크에서 일반화 능력을 크게 향상시키며 일관된 2–5%의 성능 향상을 기록한다.

ABSTRACT

Graph contrastive learning algorithms have demonstrated remarkable success in various applications such as node classification, link prediction, and graph clustering. However, in unsupervised graph contrastive learning, some contrastive pairs may contradict the truths in downstream tasks and thus the decrease of losses on these pairs undesirably harms the performance in the downstream tasks. To assess the discrepancy between the prediction and the ground-truth in the downstream tasks for these contrastive pairs, we adapt the expected calibration error (ECE) to graph contrastive learning. The analysis of ECE motivates us to propose a novel regularization method, Contrast-Reg, to ensure that decreasing the contrastive loss leads to better performance in the downstream tasks. As a plug-in regularizer, Contrast-Reg effectively improves the performance of existing graph contrastive learning algorithms. We provide both theoretical and empirical results to demonstrate the effectiveness of Contrast-Reg in enhancing the generalizability of the Graph Neural Network(GNN) model and improving the performance of graph contrastive algorithms with different similarity definitions and encoder backbones across various downstream tasks.

연구 동기 및 목표

• 비지도 그래프 대비 학습에서 대비 손실 최소화가 허위 양성 쌍으로 인해 최종 작업 정확도를 떨어뜨리는 성능 저하의 근본 원인을 규명하는 것.
• 대비 쌍에서의 모델 예측과 진짜 최종 라벨 간의 불일치를 기대 캘리브레이션 오차(ECE)를 진단 도구로 사용해 분석하는 것.
• 대비 손실 최소화가 노이즈가 있거나 일치하지 않는 대비 쌍에 과적합되는 대신 최종 작업 성능 향상으로 이어지도록 보장하는 일반 목적의 정규화 방법인 Contrast-Reg를 개발하는 것.
• 다양한 그래프 대비 학습 알고리즘, GNN 백본, 최종 작업에서 Contrast-Reg의 효과를 입증하여 광범위한 적용 가능성과 일반화 이점을 입증하는 것.

제안 방법

• 대비 쌍에서 예측된 유사도와 그들의 진짜 최종 라벨 일치도 간의 불일치를 측정하기 위해 ECE를 그래프 대비 학습에 적응시키는 것.
• 모델의 캘리브레이션 오차를 유발하는 두 가지 핵심 요인을 규명: (1) 무작위로 샘플된 노드 쌍의 기대 유사도, (2) 양성 쌍의 라벨 일치 확률.
• 항목이 (0,1] 범위에 있는 정규화 벡터 r을 제안하며, 이는 노드 표현이 r과 유사하게 유지되도록 하면서 가짜 음성 쌍(혼합된 특징)은 r과는 유사하지 않게 만든다.
• 기존의 대비 학습 프레임워크에 Contrast-Reg를 플러그인 정규화로 통합하여, 최종 작업에 더 잘 일반화되는 표현을 유도하도록 손실를 수정하는 것.
• 이론적 분석을 통해 Contrast-Reg가 라데마처 복잡도를 통해 일반화 경계를 감소시켜, 낮은 경계가 최종 작업 성능 향상과 연결됨을 보여주는 것.
• 실증적 검증을 통해 Cora, Citeseer, PubMed, Wiki, Computers와 같은 표준 벤치마크를 사용하여 여러 대비 학습 알고리즘(M, LC, GCA, GRACE), GNN 백본(GAT, GIN), 최종 작업(노드 분류, 링크 예측)에서 Contrast-Reg의 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 비지도 그래프 대비 학습에서 일부 대비 쌍은 대비 손실을 줄임에도 불구하고 최종 작업 성능을 떨어뜨리는 이유는 무엇인가?
• RQ2 대비 쌍에서의 모델 예측과 그들의 진짜 최종 라벨 일치도 간의 불일치를 어떻게 측정할 수 있는가?
• RQ3 정규화 방법이 대비 손실 최소화와 최종 작업 정확도 간의 일치를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 정규화 방법인 Contrast-Reg는 다양한 GNN 아키텍처와 대비 학습 프레임워크에서 효과적인가?
• RQ5 Contrast-Reg는 그래프 오토에코더와 같은 다른 자기지도 그래프 학습 방법으로도 일반화되는가?

주요 결과

• Contrast-Reg는 다양한 데이터셋에서 일관되게 최종 노드 분류 정확도를 향상시키며, ML-GCN에 적용했을 때 Cora에서 최대 5.1% 향상, PubMed에서는 2.9% 향상된 성과 기록.
• Cora 데이터셋에서 GAT 백본을 사용한 ML은 Contrast-Reg 적용 시 81.56%의 정확도를 기록했고, 적용하지 않은 경우 76.90%였으며, 아키텍처 간 일관된 향상이 확인됨.
• GIN 백본을 사용한 LC에 Contrast-Reg를 적용했을 때, Cora에서 정확도가 80.23%에서 81.38%로 상승하여, 다양한 유사도 정의와 백본에서의 효과가 입증됨.
• ℓ2-정규화 및 웨이트 디케이와 같은 표준 정규화 기법보다 Contrast-Reg가 더 뛰어난 성능을 보이며, 대비 학습에서의 캘리브레이션 오차를 완화하는 데 뛰어난 능력을 보임.
• 실증 결과에 따르면 Contrast-Reg는 그래프 오토에코더인 GraphMAE에서도 성능 향상을 이끌어내어, 대비 학습을 넘어서도 광범위한 적용 가능성을 시사함.
• 이론적 분석을 통해 Contrast-Reg가 일반화 경계를 감소시켜, 낮아진 라데마처 복잡도를 통해 모델 일반화 능력 향상의 정당성을 입증함.