[논문 리뷰] GPS: Graph Contrastive Learning via Multi-scale Augmented Views from Adversarial Pooling

Ju Wei, Yiyang Gu외 6명|arXiv (Cornell University)|2024. 01. 29.

Data-Driven Disease Surveillance인용 수 6

한 줄 요약

GPS는 학습 가능한 그래프 풀링을 활용하여 그래프 대비 학습을 위한 다중 스케일 양성 뷰를 자동으로 생성하며, 적대적 및 일관성 기반 목표를 사용하여 비지도 그래프 표현을 개선합니다.

ABSTRACT

Self-supervised graph representation learning has recently shown considerable promise in a range of fields, including bioinformatics and social networks. A large number of graph contrastive learning approaches have shown promising performance for representation learning on graphs, which train models by maximizing agreement between original graphs and their augmented views (i.e., positive views). Unfortunately, these methods usually involve pre-defined augmentation strategies based on the knowledge of human experts. Moreover, these strategies may fail to generate challenging positive views to provide sufficient supervision signals. In this paper, we present a novel approach named Graph Pooling ContraSt (GPS) to address these issues. Motivated by the fact that graph pooling can adaptively coarsen the graph with the removal of redundancy, we rethink graph pooling and leverage it to automatically generate multi-scale positive views with varying emphasis on providing challenging positives and preserving semantics, i.e., strongly-augmented view and weakly-augmented view. Then, we incorporate both views into a joint contrastive learning framework with similarity learning and consistency learning, where our pooling module is adversarially trained with respect to the encoder for adversarial robustness. Experiments on twelve datasets on both graph classification and transfer learning tasks verify the superiority of the proposed method over its counterparts.

연구 동기 및 목표

• 그래프 대비 학습을 위한 수동 증강 없이 더 나은 양성 뷰 생성 동기화를 한다.
• 학습 가능한 그래프 풀링을 사용한 이중 뷰(강하게 증강된 뷰와 약하게 증강된 뷰) 프레임워크 제안.
• 증강의 강건성을 향상시키기 위해 적대적 학습 포함.
• 강한 뷰에서의 일관성 학습과 약한 뷰에서의 유사성 학습을 결합.
• 다양한 데이터셋에서 그래프 분류와 전이 학습에 대해 GPS를 실험적으로 검증.

제안 방법

• 그래프 인코더로 2-layer GIN을 사용하고 읽기를 통해 그래프 수준 표현을 얻는다.
• 강한 및 약한 증강용 두 개의 학습 가능한 그래프 풀링 모듈을 도입하여 다중 스케일 뷰를 생성: TopK 기반 풀링 및 클러스터 기반 풀링.
• rho1(강한)과 rho2(약한)의 풀링 비율로 두 개의 증강 그래프를 생성하여 보완적 뷰를 제공.
• encoder에 대해 약한 증강 풀러가 minimax 목적 하에서 대응적으로 학습하는 적대적 학습을 적용.
• 약한 뷰에서 유사성 학습을 예측기와 타깃 인코더(BYOL 유사점 설정)로 구현.
• KL-발생의 소프트 제약으로 배치 내 유사성 분포를 정렬하여 강한 뷰의 일관성 학습 구현.
• 인코더를 최소화하기 위해 손실을 업데이트하는 동안 풀링 모듈을 적대적으로(그라디언트 상승) 업데이트.

실험 결과

연구 질문

• RQ1 학습 가능한 다중 스케일 그래프 풀링이 그래프 대비 학습에 효과적이고 데이터셋에 적응하는 양성 뷰를 제공할 수 있는가?
• RQ2 강하게 증강된 뷰와 약하게 증강된 뷰가 보완적 의미 정보를 포착하여 결합할 때 표현을 개선하는가?
• RQ3 풀링 모듈의 적대적 학습이 무감독 설정에서 그래프 표현의 강건성과 성능을 개선하는가?
• RQ4 GPS가 그래프 분류 및 전이 학습 태스크에서 최신 비지도 베이스라인과 비교해 어떤 성능을 보이는가?

주요 결과

방법	MUTAG	PROTEINS	NCI1	IMDB-B	IMDB-M	REDDIT-M-5K
GPS-TopK (Ours)	89.9 ± 0.7	75.1 ± 0.4	79.1 ± 0.6	73.5 ± 0.7	51.4 ± 0.6	56.3 ± 0.2
GPS-Cluster (Ours)	89.5 ± 1.2	74.7 ± 0.5	79.5 ± 0.4	73.8 ± 1.1	51.7 ± 0.5	55.9 ± 0.4

• GPS는 비지도 베이스라인과 비교하여 그래프 분류 및 전이 학습에서 열두 개 데이터셋 전반에 걸쳐 뛰어난 성능을 달성한다.
• GPS-TopK 및 GPS-Cluster 변형은 데이터셋 전반에서 최상위 또는 경쟁력 있는 결과에 도달하며 증강 뷰를 위한 학습 가능한 풀링을 검증한다.
• 사소함 연구에서 약한 증강과 강한 증강 및 적대적 학습 모두 성능 향상에 기여한 것으로 나타난다.
• 소프트 일관성 학습(KL 기반)은 강하게 증강된 뷰의 의미 구조를 보존함으로써 활용을 향상시킨다.
• 그래프 풀링 비율은 일반적으로 강건하며 rho 선택에 큰 민감도가 없다.
• 클러스터링 기반 평가에서 GPS는 여러 벤치마크에서 강한 그래프 수준 판별력을 달성한다.