[논문 리뷰] GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner

Zhenyu Hou, Yufei He외 5명|arXiv (Cornell University)|2023. 04. 10.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

GraphMAE2는 다중 시각의 무작위 재마스킹 복원과 잠재 표현 예측을 통해 특성 복원의 강건성을 향상시키는 복원 강화형 마스킹 자기지도학습 프레임워크를 제안한다. 이는 오브젝트 기반 그래프 표현 학습에 대해 최신 기술 수준의 성능을 달성하며, 111M개의 노드와 16억 개의 에지가 있는 ogbn-Papers100M에서 이전 방법 대비 2.45% 향상된 성능을 기록한다.

ABSTRACT

Graph self-supervised learning (SSL), including contrastive and generative approaches, offers great potential to address the fundamental challenge of label scarcity in real-world graph data. Among both sets of graph SSL techniques, the masked graph autoencoders (e.g., GraphMAE)--one type of generative method--have recently produced promising results. The idea behind this is to reconstruct the node features (or structures)--that are randomly masked from the input--with the autoencoder architecture. However, the performance of masked feature reconstruction naturally relies on the discriminability of the input features and is usually vulnerable to disturbance in the features. In this paper, we present a masked self-supervised learning framework GraphMAE2 with the goal of overcoming this issue. The idea is to impose regularization on feature reconstruction for graph SSL. Specifically, we design the strategies of multi-view random re-mask decoding and latent representation prediction to regularize the feature reconstruction. The multi-view random re-mask decoding is to introduce randomness into reconstruction in the feature space, while the latent representation prediction is to enforce the reconstruction in the embedding space. Extensive experiments show that GraphMAE2 can consistently generate top results on various public datasets, including at least 2.45% improvements over state-of-the-art baselines on ogbn-Papers100M with 111M nodes and 1.6B edges.

연구 동기 및 목표

• 비차별적인 노드 특성에 취약한 그래프 자기지도학습에서의 마스킹된 특성 복원 문제를 해결한다.
• 복원 과정을 정규화하여 그래프 오토인코더의 강건성과 일반화 능력을 향상시킨다.
• 실제 그래프에서 노이즈가 많거나 비차별적인 특성을 가진 경우 성능이 제한되는 입력 특성의 차별성에 대한 의존도를 줄인다.
• 임베딩 공간에서 무작위성과 예측 감독을 도입한 새로운 복원 전략을 통해 복원 품질을 향상시킨다.
• 복잡한 데이터 증강이나 음성 샘플링 없이도 대규모 그래프 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 다중 시각의 무작위 재마스킹 복원을 도입하여, 마스킹된 노드의 인코딩된 임베딩을 복원 과정에서 다수의 랜덤 재마스킹을 반복함으로써 입력 특성에 대한 과적합을 줄인다.
• 모델이 자체로 학습한 노드 임베딩을 예측함으로써 복원 과정의 정규화 신호로 잠재 표현 예측을 제안한다.
• 두 복원 전략을 조합하여 재구성된 특성과 모델의 내부 표현 간 일관성을 강화한다.
• 표준 GNN 인코더와 학습 가능한 디코더를 사용하여 마스킹된 특성을 재구성하며, 재구성 손실을 엔드 투 엔드로 최적화한다.
• 마스킹 오토인코더의 전통적 프레임워크를 유지하면서, 일반화 능력을 향상시키기 위해 확률적 요소와 예측 감독을 복원 단계에 추가한다.
• 원래 마스킹된 특성과 예측된 잠재 표현을 모두 감독 신호로 활용하여 재구성 목표를 학습한다.

Figure 1. Linear probing results on ogbn-Products and ogbn-Papers100M. GraphMAE2 achieves a significant advantage over previous graph SSL methods on benchmarks with millions of nodes.

실험 결과

연구 질문

• RQ1 재구성 과정에 무작위성을 도입하면 비차별적인 노드 특성에 대해 마스킹된 그래프 오토인코더의 강건성이 향상되는가?
• RQ2 복원 과정에서 모델의 자체 잠재 표현을 예측함으로써 특성 복원과 최종 성능이 향상되는가?
• RQ3 고정된 재마스킹 복원 방식과 비교했을 때 제안된 복원 전략은 대규모 그래프에서 일반화 능력과 성능 측면에서 어떤가?
• RQ4 복원 단계에서의 정규화는 그래프 SSL에서 입력 특성의 차별성에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법은 복잡한 데이터 증강 없이도 ogbn-Papers100M와 같은 대규모 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• GraphMAE2는 111M개의 노드와 16억 개의 에지를 가진 10억 개의 에지가 있는 ogbn-Papers100M에서 이전 최신 기술 수준의 성능 대비 선형 프로빙 정확도에서 2.45%의 절대적 향상을 기록한다.
• ogbn-Products 및 ogbn-Papers100M를 포함한 여러 공개 벤치마크에서 일관된 성능 향상을 보이며, 이전의 마스킹 오토인코더 및 대비 학습 방법을 모두 능가한다.
• 다중 시각의 무작위 재마스킹 복원 전략은 입력 특성에 대한 과적합을 줄이고 일반화 능력을 향상시키며, 특히 특성이 비차별적인 경우에 두드러진 효과를 보인다.
• 잠재 표현 예측은 더 안정적이고 정보량이 풍부한 재구성 타겟을 제공하여 최종 성능 향상에 기여한다.
• 음성 샘플링이나 복잡한 그래프 증강 없이도 SOTA 성능을 달성하여 학습 파이프라인을 단순화한다.
• 제거 분석 결과, 제안된 두 복원 전략 모두 성능 향상에 기여하며, 조합 시 가장 우수한 성능을 기록한다.

Figure 2. Overview of GraphMAE2 framework. For large-scale graphs, we first run local clustering to produce local clusters for each node as the preprocessing step. During the pre-training, GraphMAE2 corrupts the graph by masking input node features with a mask token [MASK] and then feeds the result