[논문 리뷰] Solving Cold Start Problem in Recommendation with Attribute Graph Neural Networks

Tieyun Qian, Yile Liang외 1명|arXiv (Cornell University)|2019. 12. 28.

Recommender Systems and Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 사용자 및 아이템 속성을 사용자-아이템 상호작용 그래프의 희소성 대신 활용하여 추천 시스템의 쿨스타트 문제를 해결하는 새로운 프레임워크인 속성 그래프 신경망(AGNN)을 제안한다. AGNN는 확장된 변동형 오토인코더(eVAE)를 사용해 속성 분포에서 선호도 임베딩을 추론하고, 게이트드-GNN을 통해 다중 모odal 속성을 동적으로 집계하여 쿨스타트 추천에서 최신 기술 수준의 성능을 달성하면서도 웜스타트 상황에서도 강력한 성능을 유지를 한다.

ABSTRACT

Matrix completion is a classic problem underlying recommender systems. It is traditionally tackled with matrix factorization. Recently, deep learning based methods, especially graph neural networks, have made impressive progress on this problem. Despite their effectiveness, existing methods focus on modeling the user-item interaction graph. The inherent drawback of such methods is that their performance is bound to the density of the interactions, which is however usually of high sparsity. More importantly, for a cold start user/item that does not have any interactions, such methods are unable to learn the preference embedding of the user/item since there is no link to this user/item in the graph. In this work, we develop a novel framework Attribute Graph Neural Networks (AGNN) by exploiting the attribute graph rather than the commonly used interaction graph. This leads to the capability of learning embeddings for cold start users/items. Our AGNN can produce the preference embedding for a cold user/item by learning on the distribution of attributes with an extended variational auto-encoder structure. Moreover, we propose a new graph neural network variant, i.e., gated-GNN, to effectively aggregate various attributes of different modalities in a neighborhood. Empirical results on two real-world datasets demonstrate that our model yields significant improvements for cold start recommendations and outperforms or matches state-of-the-arts performance in the warm start scenario.

연구 동기 및 목표

• 신규 사용자나 아이템이 상호작용 기록이 없을 때 발생하는 추천 시스템의 쿨스타트 문제를 해결하기 위해.
• 상호작용 기반 GNN의 한계를 극복하기 위해, 사용자-아이템 그래프에서 간선이 존재하지 않아 쿨스타트에서 실패하는 문제를 해결하기 위해.
• 성별, 카테고리, 또는 설명과 같은 사용자 및 아이템 속성을 선호도 임베딩 학습을 위한 안정적인 정보 소스로 활용하기 위해.
• 그래프 구조에서 이웃 노드로부터 이질적인 속성(예: 텍스트, 이미지)을 효과적으로 집계할 수 있는 방법을 개발하기 위해.
• 데이터 희소성 수준에 관계없이 쿨스타트 및 웜스타트 상황 모두에서 뛰어난 성능을 유지할 수 있도록 모델을 설계하기 위해.

제안 방법

• 노드가 사용자 또는 아이템인 속성 그래프를 구성하고, 속성 유사도(예: k-NN 또는 동적 이웃 선택) 기반으로 간선을 형성한다.
• 상호작용 데이터 없이도 속성 분포에서 직접 선호도 임베딩을 학습할 수 있도록 확장된 변동형 오토인코더(eVAE)를 도입한다.
• 이웃 임베딩에 대해 각 차원별로 학습 가능한 가중치를 할당하는 게이트드-GNN 아키텍처를 제안하여 모델 용량을 향상시키고 다중 모달 속성의 선택적 집계를 가능하게 한다.
• 학습 가능한 게이트를 사용한 그래프 컬러션 메커니즘을 적용해 다양한 속성과 이웃의 기여도를 동적으로 가중함으로써 이질적인 특징 공간에서의 표현 학습을 향상시킨다.
• 속성 및 평점 데이터에 대한 재구성 손실을 사용해 모델을 엔드 투 엔드로 훈련하며, eVAE를 통해 분리된(디센트)이고 강력한 선호도 임베딩 학습을 가능하게 한다.
• 일관되고 관련성 있는 이웃 정보를 확보하기 위해 동적 이웃 구성 기법을 적용하여 일반화 능력과 희소성에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 속성 그래프가 상호작용 그래프의 대안으로 쿨스타트 상황에서 사용자 및 아이템 임베딩을 학습하는 데 유용한가?
• RQ2 확장된 변동형 오토인코더(eVAE)가 쿨스타트 사용자 및 아이템의 선호도 임베딩을 속성 분포에서 효과적으로 추론할 수 있는가?
• RQ3 이웃 임베딩에 대해 각 차원별 주의를 할당하는 게이트드-GNN 메커니즘이 모델 용량과 추천 성능을 크게 향상시키는가?
• RQ4 다양한 데이터 희소성 수준과 쿨스타트 비율에서 AGNN가 STAR-GCN 및 DiffNet과 같은 최신 기술 수준의 모델보다 어떻게 성능을 내는가?
• RQ5 동적 이웃 구성 전략이 희소한 상호작용 환경에서 모델의 강건성과 성능을 얼마나 향상시키는가?

주요 결과

• AGNN는 쿨스타트 추천 상황에서 최신 기술 수준의 모델인 STAR-GCN 및 DiffNet을 크게 앞서며, 특히 쿨스타트 노드 비율이 증가할수록 성능 우위를 보였다.
• MovieLens 데이터셋에서 AGNN는 모든 쿨스타트 비율(10%, 30%, 50%)에서 RMSE가 STAR-GCN 및 DiffNet보다 낮았으며, AGNN의 성능 저하 속도도 훨씬 느렸다.
• 절단 실험 결과, eVAE 구성 요소를 제거한 경우(AGNN -eVAE)가 가장 열악한 성능을 보였으며, 이는 eVAE가 쿨스타트 임베딩 학습에서 핵심적인 역할을 한다는 것을 확인한다.
• 게이트드-GNN를 사용한 AGNN는 GCN 및 GAT 기반 변형보다 우수한 성능을 보였으며, 이는 각 차원별 게이팅이 표준 주의 또는 합집계 방식을 초월해 모델 용량을 향상시킨다는 것을 입증한다.
• AGNN에서의 동적 이웃 구성 전략은 고정된 이웃 선택(예: k-NN)보다 더 나은 성능을 내었으며, 더 다양하고 관련성 있는 이웃 정보에 접근할 수 있기 때문이다.
• AGNN는 웜스타트 상황에서도 경쟁적인 성능을 유지하며, 기준 모델과 유사하거나 이를 초월하여 속성 기반 접근 방식이 쿨스타트에만 효과적인 것이 아니라 일반 추천 환경에서도 유익함을 보여준다.