[논문 리뷰] MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning

Xumeng Gong, Cheng Yang외 1명|arXiv (Cornell University)|2022. 12. 14.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 데이터 증강이나 파라미터 편향에 의존하지 않고, 시각 생성기의 아키텍처를 조작함으로써 시각의 다양성을 향상시키는 새로운 그래프 대비 학습 프레임워크인 MA-GCL을 제안한다. 비대칭, 무작위, 셔플링의 세 가지 모델 증강 기법을 도입함으로써, 단순한 기본 모델에 적용된 경우에도 6개의 노드 분류 벤치마크 중 5개에서 최신 기준 성능(SOTA)을 달성하였으며, 강력한 베이스라인 대비 최대 2.7%의 상대적 향상률을 기록하였다.

ABSTRACT

Contrastive learning (CL), which can extract the information shared between different contrastive views, has become a popular paradigm for vision representation learning. Inspired by the success in computer vision, recent work introduces CL into graph modeling, dubbed as graph contrastive learning (GCL). However, generating contrastive views in graphs is more challenging than that in images, since we have little prior knowledge on how to significantly augment a graph without changing its labels. We argue that typical data augmentation techniques (e.g., edge dropping) in GCL cannot generate diverse enough contrastive views to filter out noises. Moreover, previous GCL methods employ two view encoders with exactly the same neural architecture and tied parameters, which further harms the diversity of augmented views. To address this limitation, we propose a novel paradigm named model augmented GCL (MA-GCL), which will focus on manipulating the architectures of view encoders instead of perturbing graph inputs. Specifically, we present three easy-to-implement model augmentation tricks for GCL, namely asymmetric, random and shuffling, which can respectively help alleviate high- frequency noises, enrich training instances and bring safer augmentations. All three tricks are compatible with typical data augmentations. Experimental results show that MA-GCL can achieve state-of-the-art performance on node classification benchmarks by applying the three tricks on a simple base model. Extensive studies also validate our motivation and the effectiveness of each trick. (Code, data and appendix are available at https://github.com/GXM1141/MA-GCL. )

연구 동기 및 목표

• 기존 그래프 대비 학습(GCL) 방법에서 동일한 인코더와 약한 데이터 증강으로 인해 대비 시각이 너무 유사해지는 한계를 해결하기 위해.
• 그래프 입력을 변경하지 않고도 학습된 표현에서 임의의 잡음 요소를 줄이기 위해 대비 시각의 다양성을 높이기 위해.
• 시각 인코더 아키텍처를 의도적으로 다양화함으로써 표현 학습을 향상시키는 새로운 패러다임인 모델 증강을 제안하기 위해.
• 인코더의 아키텍처 조작이 그래프 입력이나 모델 파라미터를 편향시키는 것보다 더 효과적이고 안전한가를 검증하기 위해.

제안 방법

• 서로 다른 수의 전파 연산자 수를 가진 두 개의 시각 인코더를 사용하는 비대칭 전략을 도입하여 고주파 노이즈를 걸러내기 위해.
• 모든 훈련 에포크 동안 전파 연산자의 수를 무작위로 변경함으로써 훈련 인스턴스의 다양성을 향상시키기 위해.
• 두 시각 인코더 내 전파 및 변환 연산자의 순서를 랜덤으로 재배열함으로써 더 안전한 증강을 생성하기 위해.
• 모든 세 가지 모델 증강 기법을 표준 데이터 증강과 결합하여 기존 GNN 모델에 즉각 통합할 수 있도록 플러그 앤 플레이 방식을 구현하기 위해.
• 비대칭 아키텍처가 GNN의 스펙트럼 반응을 변화시킴으로써 고주파 노이즈를 억제할 수 있음을 이론적으로 정당화하기 위해.
• 상호정보량 추정(MINE)과 최종 작업 정확도를 지표로 삼아, 시각 다양성과 의미 보존의 효과를 검증하기 위해.

실험 결과

연구 질문

• RQ1 GCL에서 시각 인코더 간의 아키텍처 차이가 대비 시각의 다양성을 향상시키고 임의의 잡음 요소를 줄이는 데 기여하는가?
• RQ2 인코더 아키텍처 조작을 통한 모델 증강이 기존의 데이터 증강이나 파라미터 편향보다 그래프 대비 학습에서 더 우수한 성능을 내는가?
• RQ3 비대칭, 무작위, 셔플링의 개별 모델 증강 기법이 GCL의 전체 성능에 어떻게 기여하는가?
• RQ4 제안된 모델 증강 패러다임은 기존 GCL 프레임워크와 호환되는가? 그리고 단순한 기본 모델에서도 효과적인가?
• RQ5 아키텍처 조작은 시각 간의 분리도를 높이면서도 임의의 임의의 의미 정보를 유지할 수 있는가?

주요 결과

• MA-GCL은 6개의 노드 분류 벤치마크 중 5개에서 최신 기준 성능(SOTA)을 달성하였으며, 최고 성능 베이스라인 대비 최대 2.7%의 상대적 향상률을 기록하였다.
• 비대칭 전략이 성능 향상에 가장 크게 기여하였으며, 평균적으로 0.86%의 정확도 향상을 기록하였고, 무작위 전략(0.65%)과 셔플링 전략(0.54%)이 그 뒤를 이었다.
• 실험 결과 표준 데이터 증강만으로는 시각 간 상호정보량이 높고 최종 작업 정확도가 낮아, 너무 유사하고 노이즈가 많은 상태임을 확인하였다.
• 파라미터 편향(PA)은 상호정보량이 낮고 정확도도 열악하여 의미 품질이 떨어지는 것으로 나타나, 이러한 접근 방식의 위험성을 입증하였다.
• 제거 실험 결과 모든 세 가지 모델 증강 기법이 독립적으로 성능 향상을 이끌어내며, 이는 서로 보완적인 역할을 하여 시각 다양성과 노이즈 필터링에 기여함을 뒷받침한다.