[논문 리뷰] Graph Masked Autoencoders with Transformers

Sixiao Zhang, Hongxu Chen외 4명|arXiv (Cornell University)|2022. 02. 17.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 그래프 표현 학습을 효율적으로 수행할 수 있도록 마스킹 메커니즘과 비대칭 인코더-디코더 아키텍처를 사용하는 자기지도 학습 기반 트랜스포머 모델인 그래프 마스킹 오토에인코더(GMAE)를 제안한다. 최대 70%의 노드를 마스킹하고 그들의 특징을 재구성함으로써, GMAE는 그래프 및 노드 분류 작업에서 최신 기술 수준의 성능을 달성하면서도 기존 트랜스포머 대비 최대 20%의 메모리 소비를 절감하여 더 큰 그래프와 더 깊은 모델 학습을 가능하게 한다.

ABSTRACT

Recently, transformers have shown promising performance in learning graph representations. However, there are still some challenges when applying transformers to real-world scenarios due to the fact that deep transformers are hard to train from scratch and the quadratic memory consumption w.r.t. the number of nodes. In this paper, we propose Graph Masked Autoencoders (GMAEs), a self-supervised transformer-based model for learning graph representations. To address the above two challenges, we adopt the masking mechanism and the asymmetric encoder-decoder design. Specifically, GMAE takes partially masked graphs as input, and reconstructs the features of the masked nodes. The encoder and decoder are asymmetric, where the encoder is a deep transformer and the decoder is a shallow transformer. The masking mechanism and the asymmetric design make GMAE a memory-efficient model compared with conventional transformers. We show that, when serving as a conventional self-supervised graph representation model, GMAE achieves state-of-the-art performance on both the graph classification task and the node classification task under common downstream evaluation protocols. We also show that, compared with training in an end-to-end manner from scratch, we can achieve comparable performance after pre-training and fine-tuning using GMAE while simplifying the training process.

연구 동기 및 목표

• 깊은 트랜스포머를 그래프에 적용할 때 발생하는 높은 메모리 소비 및 초기 학습의 어려움을 해결하기 위해.
• GCN의 경우 깊은 아키텍처에서 과도하게 노드 특징이 평균화되는(over-smoothing) 문제를 넘어서 글로벌 정보를 보다 효과적으로 캡처할 수 있도록 하기 위해.
• 엔드 투 엔드 학습과 비교해도 성능에 손상이 가지 않는 자기지도 사전학습 프레임워크를 개발하여 후속 미세조정을 단순화하기 위해.
• 노드 마스킹과 비대칭 설계를 통해 트랜스포머의 그래프 환경에서의 이차 메모리 복잡도를 감소시키기 위해.
• 다양한 그래프 벤치마크 데이터셋에 대해 잘 일반화되는 효과적인 그래프 트랜스포머 사전학습을 가능하게 하기 위해.

제안 방법

• GMAE는 대규모 노드(최대 70%)를 마스킹하고 마스킹된 노드의 원래 특징을 재구성하는 마스킹 오토에인코딩 목적을 사용한다.
• 비대칭 아키텍처를 사용한다: 마스킹된 그래프를 처리하기 위해 깊이 12층의 트랜스포머 인코더를 사용하고, 마스킹된 노드 특징을 재구성하기 위해 얕은 2층의 트랜스포머 디코더를 사용한다.
• 마스킹 메커니즘은 자기주도 어텐션 계산에서 효과적인 노드 수를 줄여 메모리 사용량을 O(n²)에서 70% 마스킹 비율일 경우 O(0.49n²)로 감소시킨다.
• 그래프 데이터에서의 자기지도 사전학습은 전이 학습을 가능하게 하여, 후속 작업에서 더 높은 학습률과 적은 에포크 수로 미세조정이 가능하다.
• 모델은 마스킹된 노드 특징에 대한 재구성 손실을 최적화하여 노드 수준 및 그래프 수준의 표현 품질을 동시에 고려한다.
• 마스킹 비율과 디코더 깊이와 같은 하이퍼파라미터는 성능과 효율성의 균형을 맞추기 위해 경험적으로 조정된다.

실험 결과

연구 질문

• RQ1 비대칭 트랜스포머를 사용한 마스킹 오토에인코딩 접근법이 성능에 손상이 가지 않고 그래프 표현 학습에서 메모리 소비를 줄일 수 있는가?
• RQ2 다양한 그래프 데이터셋에서 마스킹 비율이 GMAE 모델의 후속 작업 성능에 미치는 영향은 어떠한가?
• RQ3 깊은 인코더와 얕은 디코더를 사용할 경우 대칭 트랜스포머에 비해 성능과 학습 효율성이 향상되는가?
• RQ4 GMAE 사전학습이 엔드 투 엔드 학습과 비교해도 성능가능성을 유지하면서 학습 프로세스를 단순화할 수 있는가?
• RQ5 GMAE는 Graphormer와 같은 최신 기술 수준의 모델에 비해 정확도와 메모리 효율성 측면에서 어떻게 비교되는가?

주요 결과

• GMAE는 표준 자기지도 학습 평가 프로토콜 하에서 7개의 벤치마크 그래프 데이터셋(PROTEINS, BZR, COX2, ER_MD, NCI1, MUTAG, DHFR)에서 그래프 및 노드 분류 작업 모두 최신 기술 수준의 성능을 달성한다.
• 70% 마스킹 비율일 경우, 이론적으로는 자기주도 어텐션 계산에서 최대 50%의 절감이 가능하지만, GMAE는 기존 트랜스포머 대비 약 20%의 메모리 소비를 절감한다.
• 마스킹 비율이 약 0.4 또는 0.7일 때 성능이 가장 우수하여, 절반의 노드가 마스킹된 경우에도 강건함을 보이며 계산 부담을 크게 감소시킨다.
• 1~2층의 얕은 디코더가 더 깊은 디코더보다 성능이 뛰어나, 비대칭 인코더-디코더 설계가 효율성과 성능 향상에 효과적임을 입증한다.
• GMAE를 통한 사전학습은 더 높은 학습률과 적은 에포크 수로도 미세조정이 가능하게 하여, 엔드 투 엔드 학습과 비교해도 성능가능성을 유지하면서 학습 파ip라인을 단순화한다.
• 특히 고도로 최적화된 학습 스킴이 필요하지 않음에도 불구하고, 일부 벤치마크에서 Graphormer를 능가하는 성능을 보이며 강력한 일반화 능력과 사용 용이성을 입증한다.