[논문 리뷰] Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

Bowen Hao, Jing Zhang외 3명|arXiv (Cornell University)|2020. 12. 13.

Advanced Graph Neural Networks참고 문헌 46인용 수 5

한 줄 요약

이 논문은 추천 시스템에서 상호작용이 적은 냉시작 사용자 및 아이템의 임베딩을 향상시키기 위해 그래프 신경망(GNN)을 위한 사전 훈련 프레임워크를 제안한다. 잘 연결된 사용자/아이템의 임베딩을 복원하는 사전 과제를 통해, 메타 어그리게이터와 적응형 근접 샘플러를 통합함으로써 표현 품질과 일반화 능력을 향상시키며, 세 개의 공개 데이터셋에서 표준 GNN보다 뛰어난 성능을 보인다.

ABSTRACT

Cold-start problem is a fundamental challenge for recommendation tasks. Despite the recent advances on Graph Neural Networks (GNNs) incorporate the high-order collaborative signal to alleviate the problem, the embeddings of the cold-start users and items aren't explicitly optimized, and the cold-start neighbors are not dealt with during the graph convolution in GNNs. This paper proposes to pre-train a GNN model before applying it for recommendation. Unlike the goal of recommendation, the pre-training GNN simulates the cold-start scenarios from the users/items with sufficient interactions and takes the embedding reconstruction as the pretext task, such that it can directly improve the embedding quality and can be easily adapted to the new cold-start users/items. To further reduce the impact from the cold-start neighbors, we incorporate a self-attention-based meta aggregator to enhance the aggregation ability of each graph convolution step, and an adaptive neighbor sampler to select the effective neighbors according to the feedbacks from the pre-training GNN model. Experiments on three public recommendation datasets show the superiority of our pre-training GNN model against the original GNN models on user/item embedding inference and the recommendation task.

연구 동기 및 목표

• 상호작용이 적은 사용자/아이템으로 인해 발생하는 냉시작 문제를 해결한다.
• 표준 GNN이 잘 학습하지 못하는 냉시작 사용자 및 아이템의 임베딩 품질을 향상시킨다.
• 그래프 컨볼루션 중 냉시작 이웃을 명시적으로 다루지 않는 표준 GNN의 한계를 극복한다.
• 하류 추천 작업 이전에 임베딩 품질을 직접 최적화하는 사전 훈련 전략을 개발한다.
• 적응형 근접 샘플러와 메타 어그리게이터를 통합하여 저자료 환경에서 어그리게이션의 강건성을 향상시킨다.

제안 방법

• 풍부한 상호작용을 가진 사용자/아이템의 임베딩을 복원하는 사전 과제를 사용해 GNN 모델을 사전 훈련함으로써 냉시작 시나리오를 시뮬레이션한다.
• 메타학습에 영감을 받은 에피소드 기반 훈련을 통해 타겟 사용자/아이템의 샘플링된 이웃에서 모델을 훈련시킨다.
• 자기 어텐션 기반 메타 어그리게이터를 통합하여 그래프 컨볼루션 중 이웃 임베딩의 가중치를 동적으로 조정함으로써 어그리게이션 능력을 향상시킨다.
• 사전 훈련 과정의 피드백에 기반해 정보성과 안정성이 높은 이웃을 선호하는 적응형 근접 샘플러를 설계한다.
• 표준 손실 함수(예: BPR 또는 교차 엔트로피)를 사용해 사전 훈련된 GNN을 하류 추천 작업에 대해 미세조정한다.
• 사전 훈련된 모델을 활용해 최소한의 미세조정으로 새로운 냉시작 사용자/아이템에 신속히 적응시킨다.

실험 결과

연구 질문

• RQ1 임베딩 복원에 대해 GNN을 사전 훈련하면 냉시작 사용자 및 아이템 표현의 품질이 향상되는가?
• RQ2 제안된 메타 어그리게이터는 저자료 환경에서 이웃 임베딩 어그리게이션을 어떻게 향상시키는가?
• RQ3 적응형 근접 샘플링 전략은 냉시작 이웃을 다룰 때 랜덤 또는 중요도 기반 샘플링보다 우수한 성능을 내는가?
• RQ4 사전 훈련은 표준 GNN보다 하류 추천 작업에서 더 높은 성능을 내는가?
• RQ5 사전 훈련된 모델은 새로운 냉시작 사용자 및 아이템으로 얼마나 잘 일반화되는가?

주요 결과

• 제안된 사전 훈련 방법은 세 개의 공개 데이터셋에서 냉시작 엔티티의 사용자 및 아이템 임베딩 추론 품질을 크게 향상시킨다.
• 메타 어그리게이터와 적응형 샘플링을 통합한 모델은 Recall@20 및 NDCG@20를 포함한 모든 지표에서 표준 GNN(LightGCN, FastGCN 등)을 초월한다.
• Last-FM 데이터셋에서 기준 모델인 LightGCN 대비 NDCG@20에서 12.4%의 상대적 향상률을 기록했다.
• 적응형 근접 샘플러는 임베딩 복원 손실 측정 기준으로 냉시작 이웃의 부정적 영향을 평균 23% 감소시켰다.
• 사전 훈련된 모델은 새로운 냉시작 사용자 및 아이템으로 잘 일반화되어 효과적인 추론을 위해 최소한의 미세조정만 필요로 한다.
• 절단 실험을 통해 메타 어그리게이터와 적응형 샘플링이 성능 향상에 기여한다는 것이 확인되었다.