[논문 리뷰] Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning

Ming Jin, Yizhen Zheng외 4명|arXiv (Cornell University)|2021. 05. 12.

Advanced Graph Neural Networks참고 문헌 29인용 수 15

한 줄 요약

이 논문은 음성 샘플에 의존하지 않도록 다중 척도 대비 학습과 시암네스 네트워크 아키텍처를 결합한 자기지도 학습 그래프 표현 학습 프레임워크인 MERIT을 제안한다. 모멘텀 업데이트된 타겟 네트워크를 통한 네트워크 간 대비성과 다중 척도 그래프 증강에 따른 뷰 간 대비성을 활용하여, 다섯 개인 실세계 데이터셋에서 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph representation learning plays a vital role in processing graph-structured data. However, prior arts on graph representation learning heavily rely on labeling information. To overcome this problem, inspired by the recent success of graph contrastive learning and Siamese networks in visual representation learning, we propose a novel self-supervised approach in this paper to learn node representations by enhancing Siamese self-distillation with multi-scale contrastive learning. Specifically, we first generate two augmented views from the input graph based on local and global perspectives. Then, we employ two objectives called cross-view and cross-network contrastiveness to maximize the agreement between node representations across different views and networks. To demonstrate the effectiveness of our approach, we perform empirical experiments on five real-world datasets. Our method not only achieves new state-of-the-art results but also surpasses some semi-supervised counterparts by large margins. Code is made available at https://github.com/GRAND-Lab/MERIT

연구 동기 및 목표

• 기존 그래프 대비 학습 방법이 음성 샘플에 크게 의존하고 있으며, 상호정보량 추정이 계산 비용이 많이 들기 때문에 이러한 한계를 해결하기 위해.
• 모멘텀 기반 자기분열을 활용한 시암네스 아키텍처를 통해 학습 안정성을 향상시키고 붕괴를 방지함으로써 노드 표현 학습을 향상시키기 위해.
• 지역적 및 전역적 그래프 뷰 간의 다중 척도 대비 학습을 도입하여 더 풍부한 구조적 및 특성 수준의 관계를 포착함으로써 자기지도 학습을 강화하기 위해.
• 네트워크 간 및 뷰 간 대비 목표의 조합이 더 표현력 있고 일반화 능력이 뛰어난 노드 임베딩을 생성함을 보여주기 위해.
• 실세계 그래프 데이터셋에서 이 프레임워크의 유효성을 검증하여 최신 기술 수준의 자기지도 및 준지도 학습 방법보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 프레임워크는 온라인 네트워크와 모멘텀 업데이트된 타겟 네트워크로 구성된 두 개의 브랜치를 가지는 시암네스 GNN 아키텍처를 사용하며, 타겟 네트워크는 표현 학습의 안정성을 높이기 위해 '평균 교사' 역할을 한다.
• 네트워크 간 대비성은 예측기 헤드와 정지기울기 연산을 사용하여 온라인 및 타겟 네트워크의 표현 간 대비 손실을 최소화함으로써 강제한다.
• 다중 척도 그래프 증강을 적용하여 두 뷰를 생성한다: 하나는 간선 수정과 노드 특성 흐름을 통해, 다른 하나는 그래프 확산을 통해 전역적인 구조 정보를 주입한다.
• 다양한 증강 뷰 간의 온라인 네트워크 내 노드 표현 간 일치를 극대화함으로써 뷰 간 대비성을 도입하며, 온도 조정된 교차 엔트로피 기반의 대비 목표함수를 사용한다.
• 전체 손실은 가중치 합을 통해 두 목표를 조합한다: $\mathcal{L} = \beta \mathcal{L}_{cn} + (1 - \beta) \mathcal{L}_{cv}$, 여기서 $\beta$ 는 두 구성 요소 간의 균형을 조절한다.
• 타겟 네트워크 업데이트 규칙 $\theta_{\text{target}} \leftarrow m \theta_{\text{target}} + (1 - m) \theta_{\text{online}}$ 에서의 모멘텀 계수 $m$ 은 0.99에서 0.999 사이로 설정되며, $m=1$ 인 경우 성능 저하가 발생함을 발견했다.

실험 결과

연구 질문

• RQ1 모멘텀 기반 자기분열을 활용한 시암네스 네트워크가 그래프 대비 학습에서 음성 샘플이 필요 없도록 대체할 수 있는가?
• RQ2 지역적 및 전역적 뷰 간의 다중 척도 대비 학습이 단일 척도 접근 방식에 비해 노드 표현 품질을 어떻게 향상시키는가?
• RQ3 네트워크 간 및 뷰 간 대비 목표의 상대적 기여도는 모델 성능 향상에 어떻게 기여하는가?
• RQ4 다양한 그래프 증강 전략(예: 간선 수정, 특성 노이즈, 그래프 확산)이 최종 표현 품질에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 레이블이 없는 데이터에 의존하지 않으며, 일부 준지도 학습 방법을 초월하는 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MERIT는 다섯 개인 실세계 그래프 데이터셋에서 최신 기술 수준의 성능을 달성했으며, CiteSeer에서 74.0% ± 0.7의 정확도와 Amazon Photo에서 87.4% ± 0.2의 정확도를 기록했다.
• 네트워크 간 대비 손실을 제거한 경우(MERIT w/o cross-network) CiteSeer에서 0.2% 향상되고 Amazon Photo에서 0.4% 감소하여 그 중요성을 입증했다.
• 뷰 간 대비 손실을 제거한 경우(MERIT w/o cross-view) CiteSeer에서 0.4% 감소하고 Amazon Photo에서 0.3% 감소하여 다중 척도 지도 학습의 이점이 확인되었다.
• 구조적 및 특성 기반 그래프 증강을 함께 사용할 경우 최고의 성능을 기록했으며, 간선 수정 비율이 높을수록 일정 수준까지 성능 향상이 이루어졌다.
• 그래프 확산을 사용할 경우 $\alpha = 0.05$ 에서 성능 향상이著명했고, $\alpha = 0$ 으로 제거할 경우 급격한 성능 저하가 발생하여 전역 구조를 포착하는 데서의 기여도를 입증했다.
• 모델은 $\beta$ 가 0.4에서 0.6 사이일 때 가장 우수한 성능을 보였으며, 이는 두 대비 목표의 균형 잡힌 조합이 최적의 결과를 낳음을 시사한다. 반면 $m=1$ 인 경우 학습 안정성이 저하됨을 확인했다.