[논문 리뷰] Self-Supervised Representation Learning via Latent Graph Prediction

Yaochen Xie, Xu Zhao외 1명|arXiv (Cornell University)|2022. 02. 16.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 잠재 그래프 예측에 기반한 자기지도 학습 표현 학습 프레임워크인 LaGraph를 제안한다. 관측되지 않은 잠재 그래프를 예측하기 위한 자기지도 상한을 유도함으로써, LaGraph는 소규모 배치 크기와 부분 그래프 학습에 대해 더 뛰어난 내성성을 보이며, 노드 수준 및 그래프 수준 벤치마크에서 대비 학습 및 예측 학습 방법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Self-supervised learning (SSL) of graph neural networks is emerging as a promising way of leveraging unlabeled data. Currently, most methods are based on contrastive learning adapted from the image domain, which requires view generation and a sufficient number of negative samples. In contrast, existing predictive models do not require negative sampling, but lack theoretical guidance on the design of pretext training tasks. In this work, we propose the LaGraph, a theoretically grounded predictive SSL framework based on latent graph prediction. Learning objectives of LaGraph are derived as self-supervised upper bounds to objectives for predicting unobserved latent graphs. In addition to its improved performance, LaGraph provides explanations for recent successes of predictive models that include invariance-based objectives. We provide theoretical analysis comparing LaGraph to related methods in different domains. Our experimental results demonstrate the superiority of LaGraph in performance and the robustness to decreasing of training sample size on both graph-level and node-level tasks.

연구 동기 및 목표

• 대조적 자기지도 학습(SSL)이 그래프 신경망에서 겪는 한계, 특히 큰 배치 크기와 음성 샘플의 필요성을 해결하기 위해.
• 기존 예측 모델이 히우리스틱 설계에 기반하는 것과는 달리, 이론적 원리에 기반한 예측적 SSL 프레임워크를 개발하기 위해.
• 붕괴 문제를 피하고 스톱 그라디언트 또는 EMA와 같은 공학적 기교에 대한 의존도를 줄이기 위해, 대조 방법에 대한 теор리적으로 타당한 대안을 제공하기 위해.
• 잠재 그래프 예측을 사전 과제로 활용하여, 저자료 환경과 대규모 그래프 설정에서의 내성성을 향상시키기 위해.
• BGRL과 같은 인variant 기반 방법의 성공을 통합된 이론적 프레임워크에 기반한 잠재 그래프 예측으로 설명하기 위해.

제안 방법

• 노드 특징과 인접 관계로부터 유도되는 관측되지 않은 은닉 그래프 구조로 잠재 그래프의 개념을 수식화한다.
• 잠재 그래프를 예측하기 위한 감독 학습 목표의 자기지도 상한을 유도함으로써, 레이블이 없는 데이터로도 엔드 투 엔드 학습이 가능하도록 한다.
• 잠재 그래프 복원과 데이터 증강을 통한 불변성 정규화를 결합한 이중 목표 학습 메커니즘을 도입한다.
• 대조 학습을 위한 것이 아니라, 잠재 예측 목표의 불변성을 향상시키기 위해 노드 마스킹을 데이터 증강 전략으로 활용한다.
• 노드 및 그래프 수준 표현을 생성하기 위해 그래프 인코더(예: GCN, GAT)를 사용하고, 그래프 수준 임베딩을 집계하기 위해 리드아웃 함수를 적용한다.
• 학습 목표는 정보 이론 원리에 기반하여 유도되며, 상호 정보 최대화와 연결되어 이론적 기반을 제공한다.

실험 결과

연구 질문

• RQ1 GNN를 위한 예측적 자기지도 학습 프레임워크가 대조 목표와 음성 샘플링에 의존하지 않고, 잠재 그래프 예측에 기반한 이론적으로 타당한 기반을 마련할 수 있는가?
• RQ2 제안된 잠재 그래프 예측 목표는 대조 및 불변 기반 방법과 비교해 성능 및 내성성 측면에서 어떻게 다른가?
• RQ3 작은 노드 부분집합 또는 감소된 배치 크기로 학습할 경우, 이 프레임워크의 성능가 유지되는 정도는 어느 정도인가?
• RQ4 잠재 그래프 예측 목표의 이론적 분석이 기존의 불변 기반 방법(BGRL 등)의 성공을 설명할 수 있는가?
• RQ5 노드 수준 및 그래프 수준 표현 학습 작업 전반에 걸쳐 일관된 향상이 이루어지는가?

주요 결과

• LaGraph는 12개의 노드 수준 및 그래프 수준 벤치마크 데이터셋 중 10개에서 최신 기술 성능을 달성하였으며, PPI, Reddit, COLLAB에서도 SOTA 성능 기록을 세웠다.
• PPI 데이터셋에서 LaGraph는 74.6 F1 스코어를 기록하여 BGRL(70.5)과 GraphCL(45.5)를 앞서며, 소규모 부분집합으로 학습할 경우 메모리 사용량도 크게 낮췄다.
• Flickr에서 노드의 0.22%(100개 노드)로만 학습해도 LaGraph는 안정적인 성능을 유지하며 6.07 F1 스코어를 기록했고, GraphCL는 1,000개 노드에서 붕괴되어 45.48 F1 스코어를 기록했다.
• LaGraph는 소규모 배치 크기에도 강건하다: 배치 크기를 128에서 8로 줄여도 성능이 안정적으로 유지되며, 대조 방법인 GraphCL는 정확도가 심각하게 하락하는 것을 보였다.
• LaGraph는 COLLAB에서 95.8%의 정확도, Reddit에서 95.2%의 정확도를 기록하여 BGRL(95.6% 및 95.2%)과 GRACE, GCA 등의 최신 기술 방법을 능가했다.
• 제거 실험을 통해 LaGraph의 성능가 부분 그래프로 학습해도 안정적이며, 메모리 소비는 선형적으로 증가하고 성능는 일관되게 유지되는 것으로 확인되었고, 반면 GraphCL는 스케일이 커지자 실행이 불가능해졌다.