[논문 리뷰] What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

Jintang Li, Ruofan Wu외 7명|arXiv (Cornell University)|2022. 05. 20.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 마스크된 그래프 모델링(MGM)을 사전 과제로 사용하는 자기지도 학습 그래프 표현 학습 프레임워크인 MaskGAE를 제안한다. 여기서 간선이 무작위로 마스킹되고 재구성되어 표현 학습을 향상시킨다. 상호정보량 최대화 이론에 기반하여, MaskGAE는 링크 예측 및 노드 분류 벤치마크에서 표준 그래프 오토에인코더와 최신 기준 모델을 능가하며, 특히 작은 임bedding 차원에서 뛰어난 성능을 보인다.

ABSTRACT

The last years have witnessed the emergence of a promising self-supervised learning strategy, referred to as masked autoencoding. However, there is a lack of theoretical understanding of how masking matters on graph autoencoders (GAEs). In this work, we present masked graph autoencoder (MaskGAE), a self-supervised learning framework for graph-structured data. Different from standard GAEs, MaskGAE adopts masked graph modeling (MGM) as a principled pretext task - masking a portion of edges and attempting to reconstruct the missing part with partially visible, unmasked graph structure. To understand whether MGM can help GAEs learn better representations, we provide both theoretical and empirical evidence to comprehensively justify the benefits of this pretext task. Theoretically, we establish close connections between GAEs and contrastive learning, showing that MGM significantly improves the self-supervised learning scheme of GAEs. Empirically, we conduct extensive experiments on a variety of graph benchmarks, demonstrating the superiority of MaskGAE over several state-of-the-arts on both link prediction and node classification tasks.

연구 동기 및 목표

• 그래프 오토에인코더(GAEs)에서 마스킹의 이론적 이해 부족 문제를 해결하기 위해.
• 마스크된 그래프 모델링(MGM)이 GAEs에서 표현 학습을 향상시키는지 조사하기 위해.
• 그래프 구조 데이터를 위한 원칙적이고 이론적으로 기반한 자기지도 학습 프레임워크를 개발하기 위해.
• 마스크된 그래프 모델링(MaskGAE)이 하류 작업에서 표준 GAEs와 최신 기준 방법보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.
• 마스킹 비율, 임베딩 크기, 인코더 아키텍처와 같은 핵심 하이퍼파라미터의 영향을 분석하기 위해.

제안 방법

• MaskGAE는 일부 간선이 마스킹되고 나머지 가시 그래프 구조에서 재구성되는 사전 과제로 마스크된 그래프 모델링(MGM)을 사용한다.
• 모델은 GNN 인코더와 디코더를 갖춘 그래프 오토에인코더 아키텍처를 사용하여 마스킹된 간선 또는 경로를 재구성한다.
• 두 가지 마스킹 전략이 도입된다: 간선별 마스킹(개별 간선 마스킹)과 경로별 마스킹(노드 간 전체 경로 마스킹).
• 손실 함수는 마스킹된 간선에 대한 재구성 손실과 훈련 안정성 및 일반화 성능 향상을 위한 차수 정규화 손실을 조합한다.
• 이론적 분석은 MGM이 하위그래프 시각 간의 중복성을 줄여 상호정보량 최대화를 향상시킨다고 밝힌다.
• 간선 재구성에 대한 교차 엔트로피 손실을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 표준 그래프 재구성과 비교해 마스크된 그래프 모델링(MGM)이 그래프 오토에인코더에서 자기지도 학습을 어떻게 향상시키는가?
• RQ2 GAEs 맥락에서 마스크된 그래프 모델링과 대비 학습 간의 이론적 연결은 무엇인가?
• RQ3 다른 마스킹 전략(간선별 대비 경로별)이 모델 성능과 표현 품질에 어떤 영향을 미치는가?
• RQ4 MaskGAE에서 재구성 손실과 정규화 손실 간 최적의 트레이드오���은 무엇인가?
• RQ5 임베딩 크기와 인코더 아키텍처와 같은 하이퍼파라미터가 MaskGAE의 성능에 어떤 영향을 미치는가?

주요 결과

• MaskGAE는 여러 벤치마크에서 링크 예측 및 노드 분류 작업 전반에 걸쳐 최신 기준 성능을 달성하며, 표준 GAEs와 강력한 대비 기반 모델을 능가한다.
• Cora, CiteSeer, PubMed 데이터셋에서 GCN 인코더를 사용한 MaskGAE는 경로별 마스킹 시 84.30% 정확도, 간선별 마스킹 시 83.77% 정확도를 기록하여 GAT 및 SAGE 변종을 초월한다.
• 작은 임베딩 차원(예: 64)에서도 뛰어난 성능을 보이며, 표현이 매우 정보량이 많고 압축되어 있음을 시사한다. 이는 대비 방법과 달리 더 큰 차원(예: 512)이 필요로 하는 것과 대비된다.
• 차수 정규화 손실(L_deg)은 α > 0일 경우 성능 향상을 보이며, 특히 경로별 마스킹 변종에서 두드러진다. 그러나 고 α 값에서는 과적합이 발생한다.
• GCN는 GAT 및 SAGE보다 일관되게 성능이 뛰어나, MGM과 결합된 단순한 아키텍처로도 충분함을 시사한다.
• 제거 실험 결과 경로별 마스킹이 간선별 마스킹보다 더 효과적임을 확인하였으며, 특히 Photo 및 Computer와 같은 밀도 높은 그래프에서 두드러진다.