[논문 리뷰] Bipartite Graph Neural Networks for Efficient Node Representation Learning

Chaoyang He, Tian Xie외 6명|arXiv (Cornell University)|2019. 06. 27.

Advanced Graph Neural Networks참고 문헌 45인용 수 15

한 줄 요약

이 논문은 상호작용 도메인 메시지 전파(IDMP)와 내도메인 정렬(IDA)를 사용하여 감독 없이 메시지 집계 및 정보 융합을 수행하는 도메인 일致성, 비지도, 효율적인 이분 그래프를 위한 이분 그래프 신경망(BGNN)을 제안한다. BGNN는 빠른 학습과 낮은 메모리 사용을 달성하여 대규모 이분 그래프 데이터셋에서 뛰어난 확장성과 성능을 보여준다.

ABSTRACT

Existing Graph Neural Networks (GNNs) mainly focus on general structures, while the specific architecture on bipartite graphs---a crucial practical data form that consists of two distinct domains of nodes---is seldom studied. In this paper, we propose Bipartite Graph Neural Network (BGNN), a novel model that is domain-consistent, unsupervised, and efficient. At its core, BGNN utilizes the proposed Inter-domain Message Passing (IDMP) for message aggregation and Intra-domain Alignment (IDA) towards information fusion over domains, both of which are trained without requiring any supervision. Moreover, we formulate a multi-layer BGNN in a cascaded manner to enable multi-hop relation modeling while enjoying promising efficiency in training. Extensive experiments on several datasets of varying scales verify the effectiveness of BGNN compared to other counterparts. Particularly for the experiment on a large-scale bipartite graph dataset, the scalability of our BGNN is validated in terms of fast training speed and low memory cost.

연구 동기 및 목표

• 실제 응용 분야에서 흔한 추천 시스템과 지식 그래프와 같은 분야에서 널리 사용되는 이분 그래프에 특화된 GNN 아키텍처의 부족을 해결하기 위해.
• 라벨이 없는 데이터를 요구하지 않으며, 두 개의 서로 다른 노드 도메인에서 표현을 학습하는 동안 도메인 일관성을 유지할 수 있는 모델을 개발하기 위해.
• 낮은 계산 비용을 유지하면서도 다중 홉 관계 모델링을 지원하는 계단식 다층 아키텍처를 통해 효율적인 다중 홉 관계 모델링을 가능하게 하기 위해.
• 학습 속도와 메모리 효율성 측면에서 대규모 이분 그래프 데이터셋에서 제안된 모델의 확장성을 검증하기 위해.

제안 방법

• BGNN는 이분 그래프의 두 개의 서로 다른 노드 도메인 간에 메시지를 집계하기 위해 상호작용 도메인 메시지 전파(IDMP)를 사용하여 도메인 간 정보 흐름을 가능하게 한다.
• 내도메인 정렬(IDA)은 각 도메인 내에서 정보를 정렬하고 융합하여 표현 학습 중에 도메인 특화된 특징을 유지한다.
• 모델는 다중 홉 관계 모델링을 지원하면서도 학습 효율성을 유지하기 위해 계단식 다층 아키텍처로 구성되어 있다.
• IDMP와 IDA는 모두 감독 없이 학습되며, 노드 레이블이 필요 없이 그래프 구조에 의존한다.
• 메모리 소비를 최소화하고 학습 속도를 가속화하기 위해 설계되어 대규모 이분 그래프에 적합하다.

실험 결과

연구 질문

• RQ1 어떻게 도메인 일관성을 유지하면서도 이분 그래프에서 효과적으로 노드 표현을 학습할 수 있는가?
• RQ2 라벨이 없는 데이터를 요구하지 않는 비지도 메시지 전파 및 정렬 메커니즘은 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 대규모 이분 그래프 데이터셋에서 제안된 BGNN의 학습 속도와 메모리 사용 측면에서의 확장성은 어떠한가?
• RQ4 계단식 BGNN 아키텍처에서의 다중 홉 관계 모델링은 표현 품질에 어떤 영향을 미치는가?

주요 결과

• BGNN는 다양한 규모의 여러 이분 그래프 데이터셋에서 기존의 GNN 방법보다 뛰어난 성능을 달성한다.
• 대규모 이분 그래프 데이터셋에서 BGNN는 빠른 학습 속도와 낮은 메모리 비용을 보이며, 확장성의 가능성을 확인한다.
• IDMP와 IDA의 비지도 설계는 어떤 감독 없이도 효과적인 표현 학습을 가능하게 한다.
• 계단식 다층 구조는 다중 홉 관계를 성공적으로 모델링하면서도 계산 효율성을 유지한다.