[논문 리뷰] MultiBiSage: A Web-Scale Recommendation System Using Multiple Bipartite Graphs at Pinterest

Saket Gurukar, Nikil Pancha외 6명|arXiv (Cornell University)|2022. 05. 21.

Recommender Systems and Techniques인용 수 5

한 줄 요약

MultiBiSage는 다양한 Pinterest 엔티티와 상호작용(예: 사용자-핀, 사용자-보드, 사용자-광고)을 캡처하는 다중 이분 그래프를 활용하여 트랜스포머 기반의 집계 모델을 통해 고품질의 핀 임베딩을 학습하는 확장 가능하고 프로덕션 환경에서 사용 가능한 추천 시스템을 제안한다. 기존의 배포된 PinSage 시스템보다 여러 참여 지표에서 뚜렷한 성능 향상을 보이며, 이는 이질적인 그래프 신호를 통합하면서도 기존 인fra를 재사용하여 확장성을 확보한 덕분이다.

ABSTRACT

Graph Convolutional Networks (GCN) can efficiently integrate graph structure and node features to learn high-quality node embeddings. These embeddings can then be used for several tasks such as recommendation and search. At Pinterest, we have developed and deployed PinSage, a data-efficient GCN that learns pin embeddings from the Pin-Board graph. The Pin-Board graph contains pin and board entities and the graph captures the pin belongs to a board interaction. However, there exist several entities at Pinterest such as users, idea pins, creators, and there exist heterogeneous interactions among these entities such as add-to-cart, follow, long-click. In this work, we show that training deep learning models on graphs that captures these diverse interactions would result in learning higher-quality pin embeddings than training PinSage on only the Pin-Board graph. To that end, we model the diverse entities and their diverse interactions through multiple bipartite graphs and propose a novel data-efficient MultiBiSage model. MultiBiSage can capture the graph structure of multiple bipartite graphs to learn high-quality pin embeddings. We take this pragmatic approach as it allows us to utilize the existing infrastructure developed at Pinterest -- such as Pixie system that can perform optimized random-walks on billion node graphs, along with existing training and deployment workflows. We train MultiBiSage on six bipartite graphs including our Pin-Board graph. Our offline metrics show that MultiBiSage significantly outperforms the deployed latest version of PinSage on multiple user engagement metrics.

연구 동기 및 목표

• 핀-보드 그래프 외의 다양한 사용자 상호작용을 통합하여 핀 임베딩 품질을 향상시키기 위해.
• 단일 머신 학습이 필요 없이 웹 스케일 데이터(48억 개 이상의 노드, 97억 개 이상의 에지)에서 이질적인 그래프 신경망을 확장 가능하게 훈련하기 위해.
• Pixie를 통한 이웃 샘플링 및 기존 훈련/배포 파이프라인을 포함한 기존 프로덕션 인프라와의 호환성을 유지하기 위해.
• 다중 그래프 학습이 단일 그래프 접근 방식보다 유의미하게 뛰어난 최종 추천 성능을 제공하는지 입증하기 위해.
• 성능을 유지하면서도 최소한의 효과적인 이웃 수를 식별하여 추론 효율성을 최적화하기 위해.

제안 방법

• Pinterest의 이질적 그래프를 사용자-핀, 사용자-보드, 사용자-광고 등 다양한 엔티티 상호작용을 나타내는 6개의 별도된 이분 그래프로 분해한다.
• Pixie 시스템을 활용해 빌리언 노드 그래프에서 최적화된 무작위 보행을 통해 핀의 국소 그래프 이웃을 사전 계산한다.
• 각 이분 그래프에서 별도의 핀 임베딩을 트랜스포머 인코더 아키텍처를 사용해 학습하는 MultiBiSage 모델을 훈련한다.
• k개의 이분 그래프에서 유도된 개별 임베딩을 두 번째 트랜스포머 레이어를 통해 집계하여 최종 통합 핀 임베딩을 생성한다.
• 최종 집계 이전에 임베딩을 결합하기 위해 요소별 합, 하다마드 곱 또는 피드포워드 네트워크(FFN)와 같은 특징 집계 기법을 활용한다.
• 기존 훈련 및 특징 추출 워크플로우를 활용하여 프로덕션 구현 가능성과 낮은 엔지니어링 오버헤드를 확보한다.

실험 결과

연구 질문

• RQ1 다양한 이질적 이분 그래프에서 학습하는 것이 핀-보드 그래프만을 사용할 때보다 핀 임베딩 품질을 향상시키는가?
• RQ2 각 그래프에서 샘플링하는 이웃 수의 변화가 모델 성능와 추론 속도에 어떤 영향을 미치는가?
• RQ3 어느 개별 이분 그래프가 추천 성능 향상에 가장 기여하는가?
• RQ4 트랜스포머 기반 집계 메커니즘이 여러 그래프 구조에서 온 신호를 효과적으로 융합할 수 있는가?
• RQ5 성능을 유지하면서도 더 적은 이웃 수로 높은 성능을 달성할 수 있는가?

주요 결과

• 모든 6개의 이분 그래프에서 훈련된 MultiBiSage는 모든 참여 지표에서 기존에 배포된 PinSage 모델보다 통계적으로 유의미한 향상을 보였으며, 광고에서는 4.3% 향상되었고, 아이디어 핀에서는 3.18~4.42% 향상되었다.
• 각 그래프에서 50개의 이웃을 사용한 모델이 10개 또는 20개 이웃을 사용한 모델보다 성능이 뛰어나지만, 10개와 20개 이웃 모델 간에는 통계적으로 유의미한 차이가 없었다.
• 사용자-광고 및 사용자-제품 그래프를 통합함으로써 광고 및 제품 핀에 대한 추천 성능 향상이 뚜렷하게 향상되었다.
• 사례 연구 결과, MultiBiSage는 의미적 정렬을 향상시켰다: 관련 핀은 PinSage의 상위 5개에서 364위에서 5위로 상승했으며, 5개 이웃 중 4개가 전기 스쿠터와 관련이 있었다.
• 핀-보드 그래프를 제외한 개별 이분 그래프에서 훈련된 모델는 PinSage보다 성능이 열등했으며, 이는 핀-보드 그래프의 규모가 우세함을 확인시켰다.
• 집계 방법(예: 합, 하다마드 곱, FFN)의 선택은 성능에 미치는 영향이 미미했으며, 0.01 수준에서 통계적으로 유의미한 차이가 없었다.