[논문 리뷰] Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction

Eli Chien, Wei-Cheng Chang외 5명|arXiv (Cornell University)|2021. 10. 29.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 eXtreme Multi-label Classification (XMC) 체계와 XR-Transformers를 활용하여 그래프 구조를 고려한 다중 척도 이웃 예측을 통해 노드 특징 추출을 향상시키는 자기지도 학습 프레임워크인 GIANT를 제안한다. ogbn-papers100M에서 최대 1.42% 향상된 GNN 성능을 기록하였으며, MLP의 경우 13.86% 향상되고 GraphSAGE의 경우 3.1% 향상되어 다양한 그래프 벤치마크에서 확장성과 강건성을 입증한다.

ABSTRACT

Learning on graphs has attracted significant attention in the learning community due to numerous real-world applications. In particular, graph neural networks (GNNs), which take numerical node features and graph structure as inputs, have been shown to achieve state-of-the-art performance on various graph-related learning tasks. Recent works exploring the correlation between numerical node features and graph structure via self-supervised learning have paved the way for further performance improvements of GNNs. However, methods used for extracting numerical node features from raw data are still graph-agnostic within standard GNN pipelines. This practice is sub-optimal as it prevents one from fully utilizing potential correlations between graph topology and node attributes. To mitigate this issue, we propose a new self-supervised learning framework, Graph Information Aided Node feature exTraction (GIANT). GIANT makes use of the eXtreme Multi-label Classification (XMC) formalism, which is crucial for fine-tuning the language model based on graph information, and scales to large datasets. We also provide a theoretical analysis that justifies the use of XMC over link prediction and motivates integrating XR-Transformers, a powerful method for solving XMC problems, into the GIANT framework. We demonstrate the superior performance of GIANT over the standard GNN pipeline on Open Graph Benchmark datasets: For example, we improve the accuracy of the top-ranked method GAMLP from $68.25\\%$ to $69.67\\%$, SGC from $63.29\\%$ to $66.10\\%$ and MLP from $47.24\\%$ to $61.10\\%$ on the ogbn-papers100M dataset by leveraging GIANT.

연구 동기 및 목표

• 기본 GNN 파ip라인에서 그래프에 무관한 노드 특징 추출이 초래하는 열악한 성능을 해결하기 위해.
• BERT와 같은 사전 훈련된 언어 모델에 그래프 구조 정보를 통합하여 노드 표현 학습을 향상시키기 위해.
• 다양한 거리의 이웃을 다중 척도로 포괄하는 이웃 예측을 사전 훈련 작업으로 활용하는 확장 가능한 자기지도 학습 프레임워크를 개발하기 위해.
• 그래프 지도 표현 학습에서 링크 예측 대비 XMC를 사용하는 것이 이론적으로 타당한지 입증하기 위해.
• ogbn-papers100M과 같은 대규모 그래프 벤치마크에서 GIANT의 효과성과 확장성을 입증하기 위해.

제안 방법

• 각 노드의 이웃을 이진 다중 레이블 벡터로 인코딩하는 새로운 자기지도 학습 작업인 다중 척도 이웃 예측을 제안한다.
• 이웃 예측 작업을 eXtreme Multi-label Classification (XMC) 문제로 매핑하여, XR-Transformers와 같은 최첨단 XMC 솔버를 활용할 수 있도록 한다.
• 원시 노드 특징(예: TF-IDF)과 그래프 구조에서 유도된 PIFA (Pairwise Interaction Feature Aggregation) 임베딩을 사용하여 계층적 클러스터링을 유도하고 이웃 구조를 구성한다.
• XMC 목표를 사용하여 사전 훈련된 BERT 모델을 미세조정하여 그래프 인식 노드 특징을 생성하고, 이를 최종 GNN의 입력으로 사용한다.
• 다양한 거리의 이웃을 다중 척도 클러스터링 전략으로 포괄하여 이질적인 그래프에서 표현 품질을 향상시킨다.
• XMC에서 발생하는 대규모 다중 레이블 예측 작업을 효율적으로 처리하기 위해 XR-Transformer 모델을 통합하여, 수십억 노드 그래프에 대한 확장성 확보

실험 결과

연구 질문

• RQ1 그래프 구조를 고려한 자기지도 학습이 BERT나 TF-IDF와 같은 그래프에 무관한 방법보다 노드 특징 추출을 향상시킬 수 있는가?
• RQ2 그래프 지도 자기지도 노드 표현 학습에서 링크 예측 대비 XMC가 더 효과적인가?
• RQ3 원시 노드 속성과 그래프 구조를 모두 특징 학습에 통합할 경우 최종 GNN 성능에 어떤 영향을 미치는가?
• RQ4 제안된 GIANT 프레임워크는 ogbn-papers100M와 같은 대규모 그래프에서 성능 향상을 유지하면서도 확장 가능한가?
• RQ5 계층적 클러스터링과 PIFA 임베딩은 이웃 예측 품질과 최종 정확도에 어떤 기여를 하는가?

주요 결과

• ogbn-papers100M 데이터셋에서 GIANT-XRT는 최상위 성능 기록 모델인 GAMLP-RLU의 정확도를 68.25%에서 69.67%로 향상시켜 상대적 1.42% 향상.
• ogbn-papers100M에서 GIANT-XRT는 MLP 성능을 47.24%에서 61.10%로 향상시켜 상대적 13.86% 향상되었으며, 일부 경우에서 더 복잡한 GNN보다 뛰어난 성능 기록.
• ogbn-papers100M에서 SGC 정확도는 63.29%에서 66.10%로 향상되고, GraphSAGE는 65.73%에서 68.83%로 향상되어 다양한 모델에서 일관된 성능 향상 확인.
• 제거 실험 결과, TF-IDF 특징과 PIFA로 구성된 그래프 이웃를 모두 통합할 경우 최고의 성능 기록되며, TF-IDF 없이 PIFA 없이 사용한 NO TFIDF+NO PIFA 조건에서 가장 열악한 성능 기록.
• 링크 예측을 사용한 BERT 미세조정(BERT+LP)은 ogbn-products에서 GIANT보다 열등한 성능 기록하여, 이웃 예측이 자기지도 학습에서 링크 예측보다 더 강건함을 입증.
• GIANT-XRT는 매우 확장 가능하며, ogbn-arxiv와 ogbn-products를 포함한 여러 OGB 벤치마크에서 일관된 성능 향상을 기록했으며, ogbn-products에서 MLP 성능 향상 최대 18.76%