[논문 리뷰] Graph-MLP: Node Classification without Message Passing in Graph

Hu Yang, Haoxuan You외 4명|arXiv (Cornell University)|2021. 06. 08.

Advanced Graph Neural Networks참고 문헌 32인용 수 50

한 줄 요약

Graph-MLP는 새로운 Neighboring Contrastive (NContrast) 손실에 의해 안내되는 순수 MLP 프레임워크로 노드 분류를 효과적으로 수행할 수 있으며, forward 패스 중 명시적 메시지 전달을 생략하면서 GNN과 견줄 만한 결과를 달성하거나 우수한 성능을 보인다.

ABSTRACT

Graph Neural Network (GNN) has been demonstrated its effectiveness in dealing with non-Euclidean structural data. Both spatial-based and spectral-based GNNs are relying on adjacency matrix to guide message passing among neighbors during feature aggregation. Recent works have mainly focused on powerful message passing modules, however, in this paper, we show that none of the message passing modules is necessary. Instead, we propose a pure multilayer-perceptron-based framework, Graph-MLP with the supervision signal leveraging graph structure, which is sufficient for learning discriminative node representation. In model-level, Graph-MLP only includes multi-layer perceptrons, activation function, and layer normalization. In the loss level, we design a neighboring contrastive (NContrast) loss to bridge the gap between GNNs and MLPs by utilizing the adjacency information implicitly. This design allows our model to be lighter and more robust when facing large-scale graph data and corrupted adjacency information. Extensive experiments prove that even without adjacency information in testing phase, our framework can still reach comparable and even superior performance against the state-of-the-art models in the graph node classification task.

연구 동기 및 목표

• 그래프에서 명시적 메시지 전달 없이 노드 표현 학습의 동기를 부여한다.
• 그래프 노드 분류를 위한 순수 MLP 기반 아키텍처를 도입한다.
• MLP에 그래프 구조 감독을 주입하기 위해 이웃 대조 손실을 설계한다.
• 특히 손상되거나 누락된 인접 정보에서도 강건성과 효율성 이점을 입증한다.

제안 방법

• 선형 계층, GELU 활성화, 층 정규화, 드롭아웃을 갖춘 순수 MLP 아키텍처를 사용한다.
• NContrast 손실을 도입하여 r-홉 이웃을 양성으로, 이웃이 아닌 것을 음성으로 설정하고 A^r을 양성 가중치로 사용한다.
• 학습 중 교차 엔트로피 분류 손실과 NContrast 손실을 결합하여 손실_최종 = 손실_CE + alpha * 손실_NC로 구성한다.
• 정방향 패스 동안 인접 행렬을 필요로 하지 않고 엔드투엔드로 학습하며, 인접 행렬은 손실 계산에만 사용된다.
• 추론은 노드 특징에만 의존하므로 인접 정보가 손상되었거나 누락되어도 강건하다.

실험 결과

연구 질문

• RQ1 순수 MLP 모델이 명시적 메시지 전달 없이 구별 가능한 그래프 노드 표현을 학습할 수 있는가?
• RQ2 인접 정보를 손실 함수에 활용하는 이웃 대조 손실이 경쟁력 있는 노드 분류 성능을 달성하는가?
• RQ3 Graph-MLP는 손상되거나 누락된 인접 정보 하에서 전통적인 GNN과 비교해 어떤 성능을 보이는가?

주요 결과

모델	Cora	Citeseer	Pubmed
DeepWalk	70.7	51.4	76.8
AdaLNet	80.4	68.7	78.1
LNet	79.5	66.2	78.3
GCN	81.5	70.3	79.0
GAT	83.0	72.5	79.0
DGI	82.3	71.8	76.8
SGC	81.0	71.9	78.9
MLP (alpha=0)	57.8	54.7	73.3
Graph-MLP	79.5	73.1	79.7

• Graph-MLP는 Citeseer와 Pubmed에서 경쟁적이거나 우수한 정확도, Cora에서 비교 가능한 성능을 달성한다.
• Graph-MLP는 명시적 메시지 전달을 피함으로써 학습 및 추론 효율성을 높인다.
• NContrast 손실은 일반적인 MLP 대비 상당한 이익을 제공하며 데이터셋에서 큰 개선을 보인다(예: alpha > 0일 때 Cora 21.7%, Citeseer 18.4%, Pubmed 6.4%).
• Graph-MLP는 추론 시 손상된 인접 정보에 대해 기존 GCN 기반 모델과 달리 강건하다.
• 아블레이션 연구는 여러 하이퍼파라미터에 대한 강건성을 보였고, 일부 데이터셋에서 더 큰 alpha가 성능을 향상시킬 수 있음을 시사한다.