[논문 리뷰] Graph Neural Pre-training for Enhancing Recommendations using Side Information

Zaiqiao Meng, Siwei Liu외 2명|arXiv (Cornell University)|2021. 07. 08.

Recommender Systems and Techniques참고 문헌 61인용 수 8

한 줄 요약

이 논문은 사용자 및 아이템의 부가 정보를 활용하여 추천 시스템의 성능을 향상시키기 위해 그래프 신경망(GNN) 기반의 사전 훈련 기법을 제안한다. 단일 및 다중 관계 그래프를 사용하여 엔티티 임베딩을 사전 훈련하는 GCN-P 및 COM-P 모델을 도입하며, 기존 추천 모델과의 피니튜닝을 통해 다양한 데이터셋과 베이스라인에서 성능과 안정성 향상이 뚜렷하게 이루어진다.

ABSTRACT

Leveraging the side information associated with entities (i.e. users and items) to enhance the performance of recommendation systems has been widely recognized as an important modelling dimension. While many existing approaches focus on the integration scheme to incorporate entity side information -- by combining the recommendation loss function with an extra side information-aware loss -- in this paper, we propose instead a novel pre-training scheme for leveraging the side information. In particular, we first pre-train a representation model using the side information of the entities, and then fine-tune it using an existing general representation-based recommendation model. Specifically, we propose two pre-training models, named GCN-P and COM-P, by considering the entities and their relations constructed from side information as two different types of graphs respectively, to pre-train entity embeddings. For the GCN-P model, two single-relational graphs are constructed from all the users' and items' side information respectively, to pre-train entity representations by using the Graph Convolutional Networks. For the COM-P model, two multi-relational graphs are constructed to pre-train the entity representations by using the Composition-based Graph Convolutional Networks. An extensive evaluation of our pre-training models fine-tuned under four general representation-based recommender models, i.e. MF, NCF, NGCF and LightGCN, shows that effectively pre-training embeddings with both the user's and item's side information can significantly improve these original models in terms of both effectiveness and stability.

연구 동기 및 목표

• 추천 시스템에서 사용자-아이템 상호작용 데이터의 희소성 문제를 해결하기 위해 풍부한 부가 정보를 활용하는 것.
• 공통 손실 최적화로 훈련된 기존 추천 모델의 불안정성과 하이퍼파라미터 민감도 문제를 해결하는 것.
• 부가 정보를 활용한 더 나은 엔티티 임베딩 초기화를 통해 추천 성능을 향상시키는 것.
• 부가 정보 그래프에서의 사전 훈련이 하류 추천 성능을 더 안정적이고 효과적으로 만드는지 탐색하는 것.
• 대부분의 표현 기반 추천 모델에 적용 가능한 일반화 가능한 사전 훈련 프레임워크를 제공하는 것.

제안 방법

• GCN-P의 경우 사용자 및 아이템의 부가 정보(예: 연령대, 장르 등)에서 단일 관계 그래프를 구축하고, 그래프 컬러션 네트워크를 사용하여 엔티티 임베딩을 학습한다.
• COM-P의 경우 다양한 엔티티 특성과 관계를 반영한 다중 관계 그래프를 구축하고, 구성 기반 그래프 컬러션 네트워크를 사용하여 복잡한 상호작용을 모델링한다.
• 기존 추천 모델과의 피니튜닝 이전에 부가 정보 그래프에서 GNN을 사용해 엔티티 임베딩을 사전 훈련한다.
• 사전 훈련된 임베딩을 네 가지 일반 추천 모델(MF, NCF, NGCF, LightGCN)을 사용해 피니튜닝한다.
• 이중 단계 훈련 파이프라인을 사용한다: 부가 정보 그래프에서의 사전 훈련 → 사용자-아이템 상호작용에서의 엔드 투 엔드 피니튜닝.
• 50개의 랜덤 시드를 기반으로 NDCG와 표준편차를 사용해 성능을 평가하여 효과성과 안정성을 동시에 점검한다.

실험 결과

연구 질문

• RQ1 부가 정보 그래프에서 엔티티 임베딩을 사전 훈련하면 하류 추천 모델의 성능 향상이 이루어지는가?
• RQ2 제안된 사전 훈련 기법이 다양한 랜덤 초기화 조건에서 모델 안정성을 향상시키는가?
• RQ3 단일 관계 그래프(GCN-P)와 다중 관계 그래프(COM-P)의 구성 방식은 성능 및 강건성 측면에서 어떻게 비교되는가?
• RQ4 상호작용 희소성 수준이 다른 데이터셋에서 사전 훈련이 성능 향상에 얼마나 기여하는가?
• RQ5 아키텍처 변경 없이도 다양한 추천 모델에 일반화 가능한 사전 훈련 프레임워크가 적용 가능한가?

주요 결과

• 제안된 사전 훈련 기법은 모든 데이터셋에서 네 가지 베이스라인 추천 모델(MF, NCF, NGCF, LightGCN)의 NDCG 성능을 일관되게 향상시켰다.
• 다중 관계 그래프 기반의 COM-P 모델은 모든 평가 지표에서 GCN-P 모델을 능가했으며, 더 풍부한 관계 모델링이 초기화 품질 향상에 기여함을 시사한다.
• Epinions 데이터셋에서 사전 훈련 기법은 최신 기준 베이스라인 대비 NDCG@10에서 최대 48% 향상된 성과를 기록했다.
• Foursquare 데이터셋에서는 NDCG@10에서 21% 향상되어 실제 희소 환경에서도 뚜렷한 성능 향상을 입증했다.
• 50번의 실행 동안 성능 변동이 크게 감소했으며, 표준편차가 훨씬 작아, 모델 안정성 향상이 확인되었다.
• 다양한 임베딩 차원과 순위 절단 기준(k)에서도 성능 향상이 일관되게 유지되어, 다양한 추천 시나리오에 대한 강건성을 입증했다.