[논문 리뷰] Bootstrapped Representation Learning on Graphs

Shantanu Thakoor, Corentin Tallec외 4명|arXiv (Cornell University)|2021. 02. 12.

Advanced Graph Neural Networks참고 문헌 44인용 수 54

한 줄 요약

이 논문은 BYOL에 영감을 받아 음성 쌍을 필요로 하지 않아 대비 학습의 제곱형 계산 및 메모리 비용을 피하는 자기지도 학습 그래프 표현 학습 방법 BGRL을 제안한다. 타겟 및 온라인 네트워크를 사용하는 부트스트랩 메커니즘을 통해 BGRL은 상태의 기준 성능을 달성하며, GAT를 사용할 경우 PPI에서 70.49%의 마이크로-F1을 기록하여 이전의 비지도 학습 방법을 능가하고 다른 벤치마크에서 지도 학습 GNN과 동등하거나 이를 초월한다.

ABSTRACT

Current state-of-the-art self-supervised learning methods for graph neural networks (GNNs) are based on contrastive learning. As such, they heavily depend on the construction of augmentations and negative examples. For example, on the standard PPI benchmark, increasing the number of negative pairs improves performance, thereby requiring computation and memory cost quadratic in the number of nodes to achieve peak performance. Inspired by BYOL, a recently introduced method for self-supervised learning that does not require negative pairs, we present Bootstrapped Graph Latents, BGRL, a self-supervised graph representation method that gets rid of this potentially quadratic bottleneck. BGRL outperforms or matches the previous unsupervised state-of-the-art results on several established benchmark datasets. Moreover, it enables the effective usage of graph attentional (GAT) encoders, allowing us to further improve the state of the art. In particular on the PPI dataset, using GAT as an encoder we achieve state-of-the-art 70.49% Micro-F1, using the linear evaluation protocol. On all other datasets under consideration, our model is competitive with the equivalent supervised GNN results, often exceeding them.

연구 동기 및 목표

• 노드 수에 따라 음성 쌍 생성으로 인해 제곱형으로 증가하는 GNN에서 대비 학습의 높은 계산 및 메모리 비용을 해결하기 위해.
• 시각 분야에서 BYOL의 성공에 영감을 받아 음성 예제에 의존하지 않는 자기지도 그래프 표현 학습 방법을 개발하기 위해.
• 개선된 성능를 위해 비지도 사전 훈련에서 그래프 어텐션 메커니즘(GAT)을 효과적으로 활용할 수 있도록 하기 위해.
• 선형 평가 프로토콜 하에서 표준 그래프 벤치마크 데이터셋에서 최고 성능을 달성하기 위해.
• 자기지도 학습 GNN이 여러 데이터셋에서 지도 학습 GNN 성능과 동등하거나 이를 초월할 수 있음을 보여주기 위해.

제안 방법

• 두 개의 신경망(온라인 네트워크 및 타겟 네트워크)을 사용하는 그래프를 위한 부트스트랩 기반 자기지도 학습 프레임워크인 BGRL을 제안한다.
• 타겟 네트워크는 온라인 네트워크의 가중치에 대한 느린 이동 평균(EMA)이므로 음성 쌍 없이도 대비 유사 학습을 위한 타겟을 제공한다.
• 모델은 데이터 증강(예: 노드 마스킹, 엣지 제거)을 사용하여 동일한 그래프의 두 개의 시각을 생성하고, 이를 온라인 및 타겟 네트워크가 인코딩한다.
• 음성 샘플이 필요 없이 두 증강된 시각의 표현 간의 거리를 최소화하여 대비 학습을 피한다.
• 타겟 네트워크의 특징에 대해 정지 기울기 연산을 사용하여 전체적으로 끝내기까지 훈련하여 음성 쌍 없이도 학습을 안정화한다.
• GAT를 포함한 다양한 GNN 아키텍처와 호환되며, 어텐션 메커니즘을 통해 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 자기지도 그래프 학습 방법이 성능을 저하시키지 않고 음성 쌍이 필요 없이 제거될 수 있는가?
• RQ2 BYOL의 성공에 기반한 부트스트랩 기반 접근 방식이 그래프 구조 데이터에 성공적으로 적용되어 음성 쌍 계산의 제곱형 복잡도를 피할 수 있는가?
• RQ3 BGRL이 이전의 비지도 학습 방법에 비해 그래프 어텐션 메커니즘(GAT)과 함께 더 높은 성능을 낼 수 있는가?
• RQ4 BGRL을 사용한 비지도 사전 훈련이 표준 벤치마크에서 지도 학습 GNN과 경쟁력 있거나 이를 초월하는 성능을 달성할 수 있는가?
• RQ5 특히 큰 그래프에서 대비 방법과 비교해 BGRL의 계산 비용은 어떻게 스케일링되는가?

주요 결과

• 선형 평가 프로토콜을 사용할 경우 BGRL은 PPI 데이터셋에서 최고 성능인 70.49%의 마이크로-F1을 기록하여 이전의 비지도 학습 방법을 능가한다.
• 평가된 다른 모든 벤치마크 데이터셋에서 BGRL의 성능는 지도 학습 GNN과 경쟁적이거나 이를 초월한다.
• 음성 쌍이 필요 없어지면서 계산 및 메모리 비용이 크게 감소하여 노드 수에 따라 제곱형 스케일링을 피할 수 있다.
• BGRL은 비지도 사전 훈련에서 GAT 인코더의 효과적인 사용을 가능하게 하여 PPI에서 성능 향상을 이룬다.
• 모델은 다양한 데이터셋에서 강력한 성능을 유지하여 다양한 그래프 구조에 대한 일반화 및 내성적 안정성을 보여준다.
• 제거 실험 결과는 EMA와 정지 기울기 기반의 부트스트랩 메커니즘이 안정적인 훈련과 높은 성능에 필수적임을 확인한다.