[논문 리뷰] GraphMAE: Self-Supervised Masked Graph Autoencoders

Zhenyu Hou, Xiao Liu외 5명|arXiv (Cornell University)|2022. 05. 22.

Advanced Graph Neural Networks인용 수 31

한 줄 요약

GraphMAE는 그래프를 위한 마스킹된 특징 재구성 접근법을 제안합니다. 마스킹된 자동 인코더, GNN 디코더를 이용한 재-마스크 디코딩 전략, 그리고 스케일된 코사인 오차를 통해 여러 그래프 작업에서 대조적 및 생성적 베이스라인 대비 강력한 성능을 달성합니다.

ABSTRACT

Self-supervised learning (SSL) has been extensively explored in recent years. Particularly, generative SSL has seen emerging success in natural language processing and other AI fields, such as the wide adoption of BERT and GPT. Despite this, contrastive learning-which heavily relies on structural data augmentation and complicated training strategies-has been the dominant approach in graph SSL, while the progress of generative SSL on graphs, especially graph autoencoders (GAEs), has thus far not reached the potential as promised in other fields. In this paper, we identify and examine the issues that negatively impact the development of GAEs, including their reconstruction objective, training robustness, and error metric. We present a masked graph autoencoder GraphMAE that mitigates these issues for generative self-supervised graph pretraining. Instead of reconstructing graph structures, we propose to focus on feature reconstruction with both a masking strategy and scaled cosine error that benefit the robust training of GraphMAE. We conduct extensive experiments on 21 public datasets for three different graph learning tasks. The results manifest that GraphMAE-a simple graph autoencoder with careful designs-can consistently generate outperformance over both contrastive and generative state-of-the-art baselines. This study provides an understanding of graph autoencoders and demonstrates the potential of generative self-supervised pre-training on graphs.

연구 동기 및 목표

• 기 reconstruction objective, training robustness, and error metrics에서 기존의 자기학습 그래프 자동인코더(GAEs)의 단점을 식별한다.
• 마스킹을 통한 특징 재구성에 집중하여 GAE 설계를 개선하기 위한 GraphMAE를 제안한다.
• 마스킹된 특징 재구성, 재-마스크 디코딩, 및 스케일된 코사인 오차를 도입하여 그래프에서의 견고한 사전 학습을 가능하게 한다.
• GraphMAE가 노드 분류, 그래프 분류, 전이 학습 전반에 걸쳐 최첨단 대조적 및 생성적 SSL 베이스라인을 능가함을 입증한다.

제안 방법

• 입력 노드 특징을 [MASK] 토큰으로 마스킹하고 GNN 인코더를 사용하여 마스킹된 특징을 재구성하도록 학습한다.
• 재-마스크 디코딩이 가능한 더 표현력이 높은 GNN 디코더(GAT, GIN 등)를 사용하여 마스킹된 노드 표현이 디코딩 전에 다시 마스크되도록 한다.
• 분류 작업을 지원하기 위해 구조 재구성이 아닌 특징 재구성을 학습 목표로 채택한다.
• 특징 노름에 대한 민감도를 완화하고 더 어려운 샘플을 강조하기 위해 MSE를 스케일된 코사인 오차(SCE)로 대체한다(γ ≥ 1).
• 마스크 비율을 비교적 높게 유지(예: 50%)하여 의미 있는 자기지도학습을 유도하고, 학습-추론 간 차이를 줄이기 위해 “random-substitution”을 사용한다.
• 인코더는 부분적으로 관찰된 특징으로 전체 그래프를 처리하고; 디코더는 마스킹된 노드의 원래 특징을 재구성하며; 다운스트림 추론은 마스킹 없는 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 자기지도형 GAE 설정에서 그래프 분류 및 관련 작업을 가장 잘 지원하는 재구성 목표는 무엇인가?
• RQ2 마스킹, 디코딩 구조, 손실 설계가 GAEs의 견고성과 성능을 어떻게 개선할 수 있는가?
• RQ3 재-마스킹을 가진 GNN 기반 디코더를 사용하는 것이 MLP 디코더에 비해 특징 회복 및 표현에 어떤 이점을 제공하는가?
• RQ4 그래프에서 특징 재구성을 위한 학습을 안정시키고 개선하는 최적의 오차 함수는 무엇인가?
• RQ5 자기지도형 GraphMAE 사전 학습이 노드 분류, 그래프 분류 및 전이 학습 시나리오에 일반화될 수 있는가?

주요 결과

• GraphMAE는 노드 분류 벤치마크에서 최신 자기지도 방법 대비 최상위 또는 경쟁력 있는 성능을 달성하며, 기존 생성적 GAE를 크게 능가한다.
• GraphMAE는 그래프 분류 벤치마크에서 경쟁력 있는 성능을 달성하고 다운스트림 작업으로의 전이 가능성을 강하게 시연한다.
• 21개 공개 데이터셋 및 세 가지 그래프 작업에 걸쳐 GraphMAE는 일관되게 대조적 SSL 베이스라인과 일치하거나 능가하며 경우에 따라 감독 학습 성능에 근접할 수 있다.
• 구조 재구성을 마스킹된 특징 재구성으로 대체하고, 스케일된 코사인 오차 및 재-마스크 디코딩을 도입하면 견고한 학습과 개선된 표현이 얻어진다.
• 노드 분류에 GAT, 그래프 분류에 GIN과 같은 인코더 선택은 실증적 이점을 제공한다.