[논문 리뷰] ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective

Yihong Chen, Pushkar Mishra외 4명|arXiv (Cornell University)|2022. 07. 20.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 기존의 인자분해 기반 모델(FM)인 DistMult를 메시지 전파 기반 GNN으로 재구성함으로써, 새로운 GNN 아키텍처인 ReFactor GNNs를 제안한다. 이는 경사하강법 업데이트를 메시지 전파 연산으로 해석함으로써 이루어지며, FMs보다 한 단계 더 적은 파rameter로 지식 그래프 완성(KGC) 벤치마크에서 최고의 인덕티브 성능을 달성하면서도, FMs와 동일한 전도성 성능를 유지한다.

ABSTRACT

Factorisation-based Models (FMs), such as DistMult, have enjoyed enduring success for Knowledge Graph Completion (KGC) tasks, often outperforming Graph Neural Networks (GNNs). However, unlike GNNs, FMs struggle to incorporate node features and generalise to unseen nodes in inductive settings. Our work bridges the gap between FMs and GNNs by proposing ReFactor GNNs. This new architecture draws upon both modelling paradigms, which previously were largely thought of as disjoint. Concretely, using a message-passing formalism, we show how FMs can be cast as GNNs by reformulating the gradient descent procedure as message-passing operations, which forms the basis of our ReFactor GNNs. Across a multitude of well-established KGC benchmarks, our ReFactor GNNs achieve comparable transductive performance to FMs, and state-of-the-art inductive performance while using an order of magnitude fewer parameters.

연구 동기 및 목표

• 기존에 별개로 여겨지는 인자분해 기반 모델(FM)과 그래프 신경망(GNN) 간의 격차를 해소하기 위해.
• FM이 인덕티브 한계가 있음에도 불구하고 전도성 지식 그래프 완성에서 표준 GNN보다 우수한 성능을 내는 이유를 설명하기 위해.
• GNN의 인덕티브 편향과 FM의 예측 능력을 모두 갖춘 새로운 GNN 아키텍처를 개발하기 위해.
• FM의 학습 동역학을 유한층 메시지 전파로 재구성함으로써, 새로운 노드로의 일반화를 가능하게 하기 위해.
• FM, GNN, 메시지 전파 간의 통합 이론적 프레임워크를 제공하기 위해.

제안 방법

• FM 노드 임베딩의 경사하강법 최적화를 노드 간 메시지 전파 연산의 시퀀스로 재구성한다.
• FM을 수신장이 무한대이고, 계층별 학습이 가능하며 전역 정규화기가 존재하는 GNN의 특수 케이스로 간주한다.
• 노드 특징을 통합하고 동적 그래프 재구성 기능을 포함한, FMs의 유한층, 인덕티브 변종인 ReFactor GNNs를 제안한다.
• 동적으로 재구성된 그래프에서 증강된 메시지 전파 메커니즘을 사용하여 FM 학습의 전역적이고 반복적인 성격을 시뮬레이션한다.
• 표준 GNN 학습 절차를 사용하여 모델을 학습하며, FM의 업데이트 규칙을 모방하는 메시지 전파 레이어를 활용한다.
• 효율적인 학습을 위해 서브그래프 샘플링(예: LADIES)을 적용하지만, 이 방법은 샘플링 전략에 대해 무관하다.

실험 결과

연구 질문

• RQ1 인자분해 기반 모델, 예를 들어 DistMult가 메시지 전파 기반 GNN의 한 형태로 공식적으로 재해석될 수 있는가?
• RQ2 FM이 인덕티브 편향이 없음에도 불구하고 전도성 지식 그래프 완성에서 표준 GNN보다 뛰어난 성능을 내는 이유는 무엇인가?
• RQ3 GNN의 인덕티브 일반화 능력과 FM의 예측 정확도를 결합한 GNN 아키텍처를 설계할 수 있는가?
• RQ4 FM에서의 경사하강법과 GNN에서의 메시지 전파 간의 이론적 연결 고리는 무엇인가?
• RQ5 FM의 메시지 전파 재해석이 인덕티브 학습과 특징 통합을 가능하게 할 수 있는가?

주요 결과

• ReFactor GNNs는 15개의 잘 정립된 KGC 벤치마크에서 표준 GNN과 FM 모두를 능가하는 최고 수준의 인덕티브 성능를 달성한다.
• 전도성 벤치마크에서는 DistMult와 같은 FM의 성능을 그대로 따라잡아 강력한 예측 정확도를 입증한다.
• FM의 성능를 그대로 유지하면서도, FMs보다 한 단계 더 적은 파rameter를 사용하여 파rameter 효율성이 뛰어나다.
• 재구성 과정을 통해 FM이 수신장이 무한대이고 전역 정규화가 있는 GNN의 특수 케이스로 볼 수 있음을 보여주며, 이는 그 뛰어난 성능을 설명한다.
• 모델은 노드 특징을 성공적으로 통합하여, 기존 FM이 새로운 노드로의 일반화가 불가능한 주요한 한계를 극복한다.
• 실험 결과에 따르면, FMs가 적용되지 않는 상황에서도 ReFactor GNNs가 표준 GNN보다 더 우수한 일반화 성능를 보임을 확인했다.