[논문 리뷰] STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems

Jiani Zhang, Xingjian Shi외 2명|arXiv (Cornell University)|2019. 05. 27.

Recommender Systems and Techniques참고 문헌 34인용 수 54

한 줄 요약

STAR-GCN은 쌓은 인코더-디코더 GCN 블록과 마스킹 기반 재구성을 통해 차가운 시작(cold-start)을 다루고 강력한 전이/유도 권장 예측 성능을 달성하는 저차원 사용자/아이템 임베딩을 학습한다.

ABSTRACT

We propose a new STAcked and Reconstructed Graph Convolutional Networks (STAR-GCN) architecture to learn node representations for boosting the performance in recommender systems, especially in the cold start scenario. STAR-GCN employs a stack of GCN encoder-decoders combined with intermediate supervision to improve the final prediction performance. Unlike the graph convolutional matrix completion model with one-hot encoding node inputs, our STAR-GCN learns low-dimensional user and item latent factors as the input to restrain the model space complexity. Moreover, our STAR-GCN can produce node embeddings for new nodes by reconstructing masked input node embeddings, which essentially tackles the cold start problem. Furthermore, we discover a label leakage issue when training GCN-based models for link prediction tasks and propose a training strategy to avoid the issue. Empirical results on multiple rating prediction benchmarks demonstrate our model achieves state-of-the-art performance in four out of five real-world datasets and significant improvements in predicting ratings in the cold start scenario. The code implementation is available in https://github.com/jennyzhang0215/STAR-GCN.

연구 동기 및 목표

• 권장 시스템에서 특히 차가운 시작 시나리오에서 더 나은 사용자/아이템 표현 학습을 동기 부여한다.
• 원-핫 입력에 의존하지 않고 끝까지 학습 가능한 저차원 임베딩을 학습하는 확장 가능한 GCN 기반 프레임워크를 개발한다.
• 언더링된 노드의 임베딩 재생성을 가능하게 하기 위해 마스킹과 재구성을 도입하여 임베딩 재생성을 가능하게 한다.
• 샘플링-제거 학습 전략을 통해 GCN 기반 권장 예측에서 라벨 누출(label leakage)을 식별하고 완화한다.
• 전이적(transductive) 설정(전체 관찰된 학습 그래프)과 유도적(inductive, 차가운 시작) 설정 모두에서의 효과를 입증한다.

제안 방법

• 각 인코더가 다중 유형(평점 수준) 이웃 정보를 집계하는 그래프 인코더-디코더 블록의 스택을 사용한다.
• 사용자와 아이템에 대해 원-핫 노드 입력을 학습 가능한 저차원 임베딩으로 대체한다.
• 훈련 중 입력 노드 임베딩의 일부를 마스킹하고 이를 재구성하여 차가운 시작 일반화를 가능하게 한다.
• 인코딩된 표현으로부터 입력 임베딩을 회복하는 재구성 디코더를 도입하여 다중 작업 정규화 역할을 한다.
• 훈련의 각 단계에서 샘플링된 학습 엣지를 그래프에서 제거하는 샘플링-제거 전략을 적용하여 라벨 누출을 방지한다.
• L 블록에 걸친 감독 학습 손실과 재구성 손실을 결합한 손실 함수로 엔드투엔드 학습을 제공한다.

실험 결과

연구 질문

• RQ1 STAR-GCN이 실제 데이터 세트에서 전이적 권장 예측에 대해 최첨단 성능을 달성할 수 있는가?
• RQ2 보이지 않는 사용자/아이템에 대한 유도적/차가운 시작 권장 예측은 얼마나 잘 처리되는가?
• RQ3 마스킹/재구성이 표준 GCN 기반 예측기와 비교하여 임베딩 품질과 일반화를 개선하는가?
• RQ4 GCN 기반 권장 예측에서 라벨 누출을 피하기 위한 필요한 학습 전략은 무엇인가?
• RQ5 아키텍처 선택(스택드 대 순환 블록)과 입력 특성이 성능에 미치는 영향은 무엇인가?

주요 결과

• STAR-GCN은 다섯 개의 전이적 데이터 세트 중 네 개에서 최첨단 성능을 달성한다.
• 유도적 설정에서 STAR-GCN은 일관되게 및 현저하게 베이스라인을 능가한다.
• 입력 임베딩의 마스킹 및 재구성은 성능을 향상시키고 차가운 시작 일반화를 가능하게 한다.
• 샘플링-제거 학습 전략은 라벨 누출을 효과적으로 완화하고 테스트 RMSE를 향상시킨다.
• 순환형 변형은 스택드 변형과 비교해 매개변수가 적은데도 경쟁력 있는 성능을 보이며, 외부 특성의 기여는 혼합된 이점을 준다.