[논문 리뷰] Tripartite Heterogeneous Graph Propagation for Large-scale Social Recommendation

Kyung-Min Kim, Donghyun Kwak외 8명|arXiv (Cornell University)|2019. 07. 24.

Advanced Graph Neural Networks참고 문헌 27인용 수 14

한 줄 요약

이 논문은 대규모 소셜 추천을 위한 새로운 그래프 신경망 방법인 이질적 그래프 전파(Heterogeneous Graph Propagation, HGP)를 제안한다. 이는 노이즈와 복잡성을 줄이기 위해 삼중 그래프(그룹-사용자-아이템)를 사용하며, 개인화된 PageRank를 통한 전파와 사용자-그룹 및 사용자-아이템 하위그래프의 임베딩을 주목사용 기반 융합함으로써 과도한 스무딩을 효과적으로 완화하고 이질성을 처리한다. 실세계 데이터셋(160만 개 노드, 470만 개 간선)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have been emerging as a promising method for relational representation including recommender systems. However, various challenging issues of social graphs hinder the practical usage of GNNs for social recommendation, such as their complex noisy connections and high heterogeneity. The oversmoothing of GNNs is an obstacle of GNN-based social recommendation as well. Here we propose a new graph embedding method Heterogeneous Graph Propagation (HGP) to tackle these issues. HGP uses a group-user-item tripartite graph as input to reduce the number of edges and the complexity of paths in a social graph. To solve the oversmoothing issue, HGP embeds nodes under a personalized PageRank based propagation scheme, separately for group-user graph and user-item graph. Node embeddings from each graph are integrated using an attention mechanism. We evaluate our HGP on a large-scale real-world dataset consisting of 1,645,279 nodes and 4,711,208 edges. The experimental results show that HGP outperforms several baselines in terms of AUC and F1-score metrics.

연구 동기 및 목표

• 그래프 신경망(GNNs)을 활용한 소셜 추천에서 높은 복잡성, 노이즈, 과도한 스무딩 문제를 해결한다.
• 유사한 사용자를 집합화하기 위해 그룹 노드를 도입함으로써 대규모 사용자-사용자 그래프의 계산 비용과 메모리 사용량을 줄인다.
• 표준 메시지 전파 대신 개인화된 PageRank 기반 전파를 사용하여 GNNs의 과도한 스무딩 문제를 해결한다.
• 유형별 예측과 주목사용 기반 융합을 통해 이질적 그래프 구조(사용자-그룹 및 사용자-아이템 관계)를 효과적으로 통합한다.
• 이질적 그래프 환경에 적합한 효율적 샘플링 기법을 사용하여 대규모 소셜 그래프에서의 스케일러블 학습을 가능하게 한다.

제안 방법

• 사회적 및 협업적 관계를 모델링하기 위해 그룹, 사용자, 아이템 노드를 포함한 삼중 유형의 속성 부여된 다층 이질적 그래프를 구축한다.
• 공동체 성격을 가진 사용자 집단을 나타내기 위해 그룹 노드를 사용하여 직접적인 사용자-사용자 간선을 제거하고 그래프 복잡성을 감소시킨다.
• 과도한 스무딩을 방지하기 위해 사용자-그룹 및 사용자-아이템 하위그래프에서 노드 임베딩 전파에 개인화된 PageRank를 적용한다.
• 그룹 주제, 인구통계학적 데이터, 아이템 카테고리 등의 속성을 사용해 초기 노드 특징을 생성한다.
• 각 노드 유형별로 별도의 단층 퍼셉트론을 학습시켜 사용자 선호도를 예측하며, ReLU 활성화 함수와 Adam 최적화를 사용한다.
• 두 하위그래프에서 생성된 임베딩을 주목사용 기반 융합을 통해 통합하여 추천을 위한 공동 사용자-아이템 표현을 생성한다.

실험 결과

연구 질문

• RQ1 삼중 그룹-사용자-아이템 그래프가 대규모 소셜 추천 그래프의 계산 복잡성과 노이즈를 줄일 수 있는가?
• RQ2 개인화된 PageRank 기반 전파가 소셜 추천을 위한 GNNs의 과도한 스무딩 문제를 효과적으로 완화하는가?
• RQ3 이질적 하위그래프(사용자-그룹 및 사용자-아이템)의 임베딩을 주목사용 기반으로 융합하면 추천 성능이 얼마나 향상되는가?
• RQ4 제안된 HGP 모델이 160만 개 이상의 노드와 470만 개의 간선을 가진 실세계 대규모 데이터셋에서 효율적으로 스케일링 가능한가?
• RQ5 전파 단계 수를 늘리면 과도한 스무딩이나 성능 저하 없이 성능 향상이 이루어지는가?

주요 결과

• HGP는 실세계 데이터셋에서 ROC-AUC(0.6365), PR-AUC(0.6378), F1-score(0.5967) 모두 최고 성능을 기록하며, FastGCN, metapath2vec+EGES, MNE+EGES를 포함한 모든 베이스라인을 압도한다.
• NSML 플랫폼에서 하루의 절반 이내에 수렴하여 산업용 추천 시스템의 일일 업데이트에 적합하다.
• 샘플링 기법을 적용함으로써 학습 시간이 약 45시간(샘플링 없음)에서 약 1.1시간(샘플링 있음)으로 감소하여, 스케일러비리티를 위한 샘플링 전략의 효과를 입증한다.
• 전파 단계 수가 증가함에 따라 성능이 향상되며(최대 k=10까지), 이는 더 깊은 수준의 사회적 영향력이 과도한 스무딩 없이 효과적으로 포착됨을 시사한다.
• k=10일 때 HGP 모델이 최고의 성능을 기록하여, 개인화된 PageRank가 깊은 층에서 안정적이고 효과적인 메시지 전파를 가능하게 함을 확인한다.
• 제거 실험 결과, 속성 기반 초기화가 없는 모델(예: metapath2vec)은 CTR 예측을 학습하지 못함을 보여주며, 속성 기반 초기화의 중요성을 입증한다.