[논문 리뷰] Node Classification Meets Link Prediction on Knowledge Graphs

Ralph Abboud, İsmail İlkan Ceylan|arXiv (Cornell University)|2021. 06. 14.

Advanced Graph Neural Networks참고 문헌 36인용 수 4

한 줄 요약

이 논문은 MLP-X라는 프레임워크를 제안함으로써 불완전한 지식 그래프에서의 전이적 노드 분류와 링크 예측을 통합한다. 이 프레임워크는 얕은 임bedding 모델에 다층 퍼셉트론을 추가하여 노드 특징과 관계 구조를 동시에 활용한다. 주요 기여는 새로운 벤치마크 데이터셋인 WikiAlumni를 제안한 것으로, MLP-X 모델은 노드 분류와 링크 예측 모두에서 GNN보다 뛰어난 성능을 보이며, 특히 관계적 불완전성 상황에서 뛰어난 성능을 보여, GNN의 폐쇄 세계 가정보다 개방 세계 추론의 이점이 있음을 입증한다.

ABSTRACT

Node classification and link prediction are widely studied in graph representation learning. While both transductive node classification and link prediction operate over a single input graph, they have so far been studied separately. Node classification models take an input graph with node features and incomplete node labels, and implicitly assume that the graph is relationally complete, i.e., no edges are missing. By contrast, link prediction models are solely motivated by relational incompleteness of the input graphs, and do not typically leverage node features or classes. We propose a unifying perspective and study the problems of (i) transductive node classification over incomplete graphs and (ii) link prediction over graphs with node features, introduce a new dataset for this setting, WikiAlumni, and conduct an extensive benchmarking study.

연구 동기 및 목표

• 기존의 노드 분류 및 링크 예측 방법 간 격차를 해소하기 위해 불완전한 그래프에서의 전이적 노드 분류와 노드 특징을 활용한 링크 예측을 연구한다.
• 노드 특징과 관계 구조를 동시에 활용하여 노드 분류와 링크 예측을 공동 최적화하는 통합 프레임워크를 제안한다.
• 실제 세계의 특징, 풍부한 관계, 균형 잡힌 클래스를 갖춘, 노드 분류와 링크 예측 모두에 적합한 새로운 지식 그래프 벤치마크인 WikiAlumni를 소개한다.
• 다양한 수준의 관계 불완전성과 특징 가용성 하에서 MLP-X 모델의 성능을 GNN과 비교 평가한다.
• 노드 분류와 링크 예측 간 상호작용을 조사하며, 특히 모델의 인덕티브 바이어스가 유도하는 클러스터링 효과가 성능에 미치는 영향을 분석한다.

제안 방법

• 모든 얕은 임베딩 모델 X를 다층 퍼셉트론(MLP)을 추가하여 확장하는 MLP-X 프레임워크를 제안함으로써, 노드 특징을 처리하고 노드 분류 및 링크 예측을 공동 최적화할 수 있도록 한다.
• 위키피디아 졸업생 데이터에서 유도된 이질적이고 다중관계 지식 그래프인 WikiAlumni를 구축하며, 클래스 예측을 위한 엔티티 특징과 단항 사실을 보강한다.
• 모델의 표현력에 따라 노드 분류에는 교차 엔트로피 손실를, 링크 예측에는 음성 샘플링 또는 교차 엔트로피를 사용하여 모델을 훈련시킨다.
• 노드 분류와 링크 예측을 통합한 유일한 훈련 목표를 사용하여, 레이블이 지정된 클래스와 누락된 관계 양쪽에서 학습할 수 있도록 한다.
• 간선을 체계적으로 마스킹하여 제어된 관계 불완전성 조건에서 성능을 측정함으로써, 두 작업 모두에서 모델을 평가한다.
• 다양한 수준의 그래프 불완전성과 특징 가용성 하에서 표준 GNN과 기초 얕은 모델(예: TransE, RotatE, BoxE)과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 노드 특징과 함께 누락된 간선에서 동시에 학습함으로써, 노드 분류 모델이 관계적 불완전성에 대해 강건해질 수 있는가?
• RQ2 노드 특징을 통합하면, 특히 노드 분류와 결합되었을 때 지식 그래프에서 링크 예측 성능이 향상되는가?
• RQ3 다양한 임베딩 모델의 인덕티브 바이어스(예: TransE와 RotatE의 클러스터링)가 노드 분류와 링크 예측 성능 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 MLP-X 모델의 개방 세계 가정(OWA)이 불완전한 그래프 환경에서 GNN의 폐쇄 세계 가정(CWA)보다 얼마나 뛰어나게 작용하는가?
• RQ5 MLP-X와 같은 통합 프레임워크가 실제 세계 지식 그래프에서 노드 분류와 링크 예측 모두에서 최고 성능을 달성할 수 있는가?

주요 결과

• MLP-X 모델은 관계 불완전성이 증가할수록 WikiAlumni에서 GNN보다 전이적 노드 분류 성능이 뛰어나며, 누락된 간선에 대한 강건성을 입증한다.
• MLP-X 모델은 노드 특징을 활용함으로써 기초 모델 대비 링크 예측 성능을 크게 향상시키며, 특히 완전 표현력을 갖춘 MLP-BoxE와 같이 성능 향상이 두드러진다.
• MLP-RotatE와 MLP-TransE는 인덕티브 바이어스로 인해 클러스터링 행동을 보이며, 이는 노드 분류 성능 향상에 기여하지만 세밀한 링크 예측 성능은 저하시켜 트레이드오프를 드러낸다.
• MLP-BoxE는 완전한 표현력으로 인해 클러스터링을 피하고, 교차 엔트로피 손실가 스코어링 메커니즘과 더 잘 맞기 때문에 모든 불완전성 수준에서 최고의 종합 성능을 달성한다.
• WikiAlumni 데이터셋은 실세계 특징, 균형 잡힌 클래스, 풍부한 관계 구조를 제공하여 노드 분류와 링크 예측 모두에 적합한 벤치마크로 적합하다.
• 이 연구는 MLP-X를 통한 노드 분류와 링크 예측의 공동 최적화가 고립된 작업 훈련보다 더 강력하고 일반화 능력이 뛰어난 표현을 도출할 수 있음을 입증한다.