[논문 리뷰] GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction

Yucheng Shi, Yushun Dong외 3명|arXiv (Cornell University)|2023. 08. 18.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

GiGaMAE는 그래프 구조와 노드 특징을 모두 포함하는 공동 잠재 표현을 함께 재구성함으로써 표현 학습을 향상시키는 일반화 가능한 그래프 마스킹 오토에인코더를 제안한다. 상호정보 기반 손실을 통해 독립적이고 공유되는 지식을 분리하며, 7개의 벤치마크 데이터셋에서 다양한 그래프 학습 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Self-supervised learning with masked autoencoders has recently gained popularity for its ability to produce effective image or textual representations, which can be applied to various downstream tasks without retraining. However, we observe that the current masked autoencoder models lack good generalization ability on graph data. To tackle this issue, we propose a novel graph masked autoencoder framework called GiGaMAE. Different from existing masked autoencoders that learn node presentations by explicitly reconstructing the original graph components (e.g., features or edges), in this paper, we propose to collaboratively reconstruct informative and integrated latent embeddings. By considering embeddings encompassing graph topology and attribute information as reconstruction targets, our model could capture more generalized and comprehensive knowledge. Furthermore, we introduce a mutual information based reconstruction loss that enables the effective reconstruction of multiple targets. This learning objective allows us to differentiate between the exclusive knowledge learned from a single target and common knowledge shared by multiple targets. We evaluate our method on three downstream tasks with seven datasets as benchmarks. Extensive experiments demonstrate the superiority of GiGaMAE against state-of-the-art baselines. We hope our results will shed light on the design of foundation models on graph-structured data. Our code is available at: https://github.com/sycny/GiGaMAE.

연구 동기 및 목표

• 다양한 최종 작업에 걸쳐 기존 그래프 마스킹 오토에인코더의 일반화 능력이 제한되어 있는 문제를 해결한다.
• 구조와 특징이라는 서로 다른 성질을 가진 이질적 그래프 모odalities(구조 및 특징)를 재구성하는 데 있어 그 본질적인 불일치로 인한 과제를 극복한다.
• 다양한 재구성 목표에서 독립적이고 공유되는 지식을 모두 포괄하는 통합된 자기지도 학습 목표를 개발한다.
• 작업별 재학습 없이도 효과적인 전이 학습을 가능하게 하기 위해 포괄적이고 일반화 가능한 노드 표현을 학습한다.
• 그래프 표현 학습에서 단일 모달리티 재구성 대비 공동 잠재 공간 재구성을 통해 성능 향상이 이루어지는지 확인한다.

제안 방법

• 원시 그래프 구성요소가 아닌 구조적 정보와 속성 정보를 통합한 잠재 표현을 재구성하는 그래프 마스킹 오토에인코더인 GiGaMAE를 제안한다.
• 이중 단계 학습 파이프라인을 사용한다: 먼저 노드2베크, PCA 등의 타겟 모델을 미리 훈련하여 타겟 표현을 생성하고, 이후 이 표현들 위에서 오토에인코더를 훈련한다.
• 개별 타겟에서 학습된 지식과 여러 타겟 간에 공유된 지식을 구분하는 상호정보 기반 재구성 손실을 도입한다.
• 다변량 상호정보를 사용하여 개별 지식과 공동 지식의 재구성을 균형 있게 조정함으로써 표현 품질을 향상시킨다.
• 에코더로 GAT을 사용하고, 프로젝터로 다층 퍼셉트론을 사용하여 입력 그래프를 잠재 표현으로 매핑한다.
• 학습 중 노드를 마스킹하고 공동 손실을 사용하여 잠재 공간을 재구성함으로써 강건하고 일반화 가능한 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 모달리티 재구성 대비 공동 잠재 표현 재구성 방식이 그래프 표현 학습에서 일반화 능력을 향상시키는가?
• RQ2 상호정보 기반 손실이 다양한 그래프 모달리티에서 독립적이고 공유되는 지식을 효과적으로 포착하는 데 어떻게 기여하는가?
• RQ3 GiGaMAE는 노드 분류, 링크 예측, 노드 클러스터링과 같은 다양한 최종 작업에 얼마나 잘 일반화되는가?
• RQ4 다양한 실생활 그래프 데이터셋에서 GiGaMAE의 성능은 최신 기술 수준(SOTA) 기준선과 비교해 어떻게 되는가?
• RQ5 기존 자기지도 그래프 모델 대비 제안된 방법의 계산 비용은 얼마나 되는가?

주요 결과

• GiGaMAE는 7개의 벤치마크 데이터셋에서 노드 분류, 링크 예측, 노드 클러스터링의 세 가지 최종 작업 전반에서 최신 기술 수준(SOTA) 성능을 달성한다.
• GraphMAE와 VGAE와 같은 강력한 기준선을 능가하며, 다양한 작업에 걸쳐 뛰어난 일반화 능력을 입증한다.
• 광범위한 아블레이션 연구를 통해 상호정보 기반 손실이 공유 지식과 독립 지식을 효과적으로 포착하여 표현 품질을 향상시킨다는 것이 확인되었다.
• 잠재 표현의 공동 재구성은 엣지나 특징를 개별적으로 재구성하는 것보다 더 포괄적이고 강건한 표현을 이끌어낸다.
• GiGaMAE는 GraphMAE보다 훈련 시간이 더 오래 걸리지만(미리 훈련 및 복잡한 손실 덕분), 손실 계산에서 부분 그래프를 사용함으로써 대비 기반 방법(GCA)보다는 훨씬 빠르게 작동한다.
• 물리학 및 컴퓨터 과학과 같은 대규모 그래프를 포함하여 크기와 희박성의 다양성이 있는 데이터셋에서도 일관된 성능 향상이 관찰되었다.