[논문 리뷰] Cascade-BGNN: Toward Efficient Self-supervised Representation Learning on Large-scale Bipartite Graphs

Chaoyang He, Tian Xie외 5명|arXiv (Cornell University)|2019. 06. 27.

Advanced Graph Neural Networks참고 문헌 22인용 수 8

한 줄 요약

Cascade-BGNN는 대규모 이분할 그래프에서 효율적인 노드 표현 학습을 위한 자기지도 학습, 도메인 일관성 있는 그래프 신경망을 제안한다. 교차 도메인 메시지 전파(IDMP)와 적대적 학습을 통한 내부 도메인 정렬(EDA)을 사용하여 분할 간 및 분할 내 관계를 모델링하며, 계단식 학습을 통해 깊이 있는 다단계 메시지 전파를 가능하게 하여 실제 그래프에서 낮은 메모리 소비와 빠른 학습으로 최신 성능를 달성한다.

ABSTRACT

Bipartite graphs have been used to represent data relationships in many data-mining applications such as in E-commerce recommendation systems. Since learning in graph space is more complicated than in Euclidian space, recent studies have extensively utilized neural nets to effectively and efficiently embed a graph's nodes into a multidimensional space. However, this embedding method has not yet been applied to large-scale bipartite graphs. Existing techniques either cannot be scaled to large-scale bipartite graphs that have limited labels or cannot exploit the unique structure of bipartite graphs, which have distinct node features in two domains. Thus, we propose Cascade Bipartite Graph Neural Networks, Cascade-BGNN, a novel node representation learning for bipartite graphs that is domain-consistent, self-supervised, and efficient. To efficiently aggregate information both across and within the two partitions of a bipartite graph, BGNN utilizes a customized Inter-domain Message Passing (IDMP) and Intra-domain Alignment (IDA), which is our adaptation of adversarial learning, for message aggregation across and within partitions, respectively. BGNN is trained in a self-supervised manner. Moreover, we formulate a multi-layer BGNN in a cascaded training manner to enable multi-hop relationship modeling while improving training efficiency. Extensive experiments on several datasets of varying scales verify the effectiveness and efficiency of BGNN over baselines. Our design is further affirmed through theoretical analysis for domain alignment. The scalability of BGNN is additionally verified through its demonstrated rapid training speed and low memory cost over a large-scale real-world bipartite graph.

연구 동기 및 목표

• 제한된 또는 레이블이 없는 경우에도 대규모 이분할 그래프에서 효과적인 노드 표현을 학습하는 데 도전하는 것.
• 표준 GNN이 효과적으로 모델링하지 못하는 이분할 그래프에서 두 도메인(예: 사용자 및 제품) 간의 특징 분포의 차이를 활용하는 것.
• 기존 방법이 대규모 그래프에서 겪는 메모리 및 계산 병목 현상을 피하는 확장 가능한 자기지도 학습 프레임워크를 개발하는 것.
• 계단식 학습을 통해 학습 효율성과 낮은 메모리 사용을 유지하면서 다단계 이웃 집합을 가능하게 하는 것.
• 적대적 학습을 통한 내부 도메인 정렬을 통해 학습된 표현의 도메인 일관성을 보장하는 것.

제안 방법

• 교차 도메인 메시지 전파(IDMP)는 이분할 그래프의 두 분할 간 메시지를 집계하여 사용자 노드와 아이템 노드 간의 교차 도메인 정보 흐름을 가능하게 한다.
• 내부 도메인 정렬(IDA)은 적대적 학습을 사용하여 각 분할 내 노드의 특징 분포를 정렬함으로써 도메인 특화 편향을 감소시키고 표현의 일관성을 향상시킨다.
• 계단식 학습 전략을 사용하여 BGNN의 여러 층을 스택하여 표준 GNN에서 관찰되는 메모리 폭발을 피한 깊이 있는 다단계 메시지 전파를 가능하게 한다.
• 노드 레이블이나 비용이 많이 드는 샘플링 절차가 필요 없도록, 적대적 정렬 기반의 대비 손실을 사용하여 자기지도 방식으로 모델을 학습한다.
• 전체 그래프를 메모리에 로드하지 않도록 미니배치로 처리함으로써 아키텍처가 대규모 그래프에서 확장 가능해지며, 메모리 비용을 크게 줄였다.
• 유도적 설계를 통해 이전에 보지 못한 노드에 대한 추론이 가능하게 하며, 이는 이전 층에서 학습된 파rameters를 활용한다.

실험 결과

연구 질문

• RQ1 자기지도 GNN 프레임워크가 레이블 데이터가 극히 적은 대규모 이분할 그래프에서 효과적으로 노드 표현을 학습할 수 있는가?
• RQ2 사용자 및 아이템과 같은 두 도메인 간의 특징 분포 불일치 문제를 어떻게 완화하여 표현 품질을 향상시킬 수 있는가?
• RQ3 계단식 학습 전략이 학습 효율성과 낮은 메모리 사용을 유지하면서도 이분할 그래프에서 깊이 있는 메시지 전파를 가능하게 할 수 있는가?
• RQ4 제안된 IDMP 및 IDA 메커니즘이 표준 GNN 및 무작위 보행 기반 방법에 비해 확장성과 성능 면에서 어떻게 비교되는가?
• RQ5 적대적 기반 내부 도메인 정렬이 노드 임베딩의 일반화 및 강건성에 얼마나 기여하는가?

주요 결과

• Cascade-BGNN는 여러 대규모 이분할 그래프 벤치마크에서 최신 성능를 달성하여 노드 분류 및 추천과 같은 후속 작업에서 기존 자기지도 및 준자기지도 GNN보다 뛰어난 성능을 보였다.
• 모델은 뛰어난 확장성을 보이며, 텐센트 데이터셋에서 GraphSAGE 및 AS-GCN보다 훨씬 빠른 속도로 학습되었으며, 학습 시간과 메모리 비용이 그래프 크기와 선형적으로 증가했다.
• Cascade-BGNN는 한 번에 하나의 미니배치만 처리하기 때문에 메모리 비용이 낮게 유지되며, 기준선과 달리 전체 그래프를 메모리에 로드할 필요가 없다.
• 계단식 학습 전략은 메모리 사용을 줄이고 통제 불가능한 이웃 확장을 방지하여 성능 저하 없이 더 깊은 모델을 가능하게 했다.
• 적대적 기반 IDA 손실은 비용이 많이 드는 샘플링이나 무작위 보행이 필요 없게 하여 자기지도 학습의 계산 오버헤드를 감소시켰다.
• 이론적 분석을 통해 IDA가 도메인 정렬을 보장함을 확인하였으며, 이는 모델의 강건성과 일반화 능력에 탄탄한 기반을 제공한다.