[논문 리뷰] Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification

Yunsheng Shi, Zhengjie Huang외 4명|arXiv (Cornell University)|2020. 09. 08.

Advanced Graph Neural Networks참고 문헌 30인용 수 102

한 줄 요약

UniMP은 Graph Transformer를 통해 특징과 라벨 전파를 하나의 프레임워크로 통합하고, 마스킹된 라벨 예측을 도입하여 누수를 방지함으로써 Open Graph Benchmark 데이터셋에서 반지도학습 분류의 최첨단 성능을 달성합니다.

ABSTRACT

Graph neural network (GNN) and label propagation algorithm (LPA) are both message passing algorithms, which have achieved superior performance in semi-supervised classification. GNN performs feature propagation by a neural network to make predictions, while LPA uses label propagation across graph adjacency matrix to get results. However, there is still no effective way to directly combine these two kinds of algorithms. To address this issue, we propose a novel Unified Message Passaging Model (UniMP) that can incorporate feature and label propagation at both training and inference time. First, UniMP adopts a Graph Transformer network, taking feature embedding and label embedding as input information for propagation. Second, to train the network without overfitting in self-loop input label information, UniMP introduces a masked label prediction strategy, in which some percentage of input label information are masked at random, and then predicted. UniMP conceptually unifies feature propagation and label propagation and is empirically powerful. It obtains new state-of-the-art semi-supervised classification results in Open Graph Benchmark (OGB).

연구 동기 및 목표

• GNN 기반 특징 전파와 라벨 전파를 하나의 프레임워크로 결합하는 동기를 제시합니다.
• 노드 특징과 라벨 임베딩을 모두 수용하는 Graph Transformer 기반 모델 UniMP를 제안합니다.
• 훈련 중 라벨 누출을 방지하고 추론 시에는 라벨을 활용하기 위해 마스킹된 라벨 예측을 도입합니다.
• 대규모 OGBN 데이터셋에서 최첨단 반지도 학습 분류 성능을 입증합니다.

제안 방법

• 라벨 임베딩을 통해 부분적으로 관찰된 라벨을 노드 특징과 동일한 임베딩 공간에 표현합니다.
• 다중 헤드 Graph Transformer를 사용해 특징 및 라벨 정보를 전파하고 주의합니다.
• 층 간 과도한 스무딩을 완화하기 위해 게이트드 잔차 메커니즘을 도입합니다.
• 특징 전파와 라벨 전파를 하나의 전파 규칙으로 통합하여 분리된 특징 및 라벨 동역학을 근사합니다.
• BERT 스타일 마스킹에서 영감을 받아 라벨 누출을 방지하는 마스킹된 라벨 예측 학습 목표를 적용합니다.
• ablation 연구와 함께 ogbn-products, ogbn-proteins, ogbn-arxiv에서 평가합니다.

실험 결과

연구 질문

• RQ1 단일 메시지 전달 프레임워크 내에서 특징 전파와 라벨 전파를 효과적으로 결합할 수 있는가?
• RQ2 훈련 중 입력 라벨을 마스킹하면 일반화가 향상되고 라벨 포함 GNN에서 누출을 피할 수 있는가?
• RQ3 대규모의 다양하고 확장된 OGBN 데이터셋에서 라벨 임베딩과 전파가 성능에 얼마나 기여하는가?
• RQ4 데이터셋 간 라벨 커버리지와 이웃 정보가 모델 정확도에 미치는 영향은 무엇인가?

주요 결과

• 세 가지 OGBN 데이터셋인 ogbn-products, ogbn-proteins, ogbn-arxiv에서 새로운 최첨단 결과를 달성합니다.
• Graph Transformer와 라벨 임베딩을 사용하는 UniMP가 특징 전파만 사용하거나 LPA로만 규제하는 기존 방법보다 우수합니다.
• 마스킹된 라벨 예측은 자기 루프 라벨 누출을 효과적으로 방지하고 안정적인 학습을 지원합니다.
• ogbn-products에서 테스트 정확도 0.8256( baselines 대비).
• ogbn-proteins에서 테스트 ROC-AUC 0.8642(보고된 방법 중 최고).
• ogbn-arxiv에서 테스트 정확도 0.7311(최첨단과의 경쟁력 있는 성능).