[논문 리뷰] Inductive Graph Pattern Learning for Recommender Systems Based on a Graph Neural Network.

Muhan Zhang, Yixin Chen|arXiv (Cornell University)|2019. 04. 26.

Recommender Systems and Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 측정 정보 없이도 최신 기술 성능을 달성하고, 새로운 사용자/아이템에 대한 일반화 및 새로운 추천 작업으로의 전이를 가능하게 하는 인덕티브 그래프 기반 행렬 완성(IGMC)을 제안한다. 이는 (사용자, 아이템) 평점 쌍 주변의 1-호프 부분그래프에서만 훈련되는 그래프 신경망(GNN)을 통해 사용자 및 아이템 표현을 학습한다.

ABSTRACT

We propose an inductive matrix completion model without using side information. By factorizing the (rating) matrix into the product of low-dimensional latent embeddings of rows (users) and columns (items), a majority of existing matrix completion methods are transductive, since the learned embeddings cannot generalize to unseen rows/columns or to new matrices. To make matrix completion inductive, most previous works use content (side information), such as user's age or movie's genre, to make predictions. However, high-quality content is not always available, and can be hard to extract. Under the extreme setting where not any side information is available other than the matrix to complete, can we still learn an inductive matrix completion model? In this paper, we propose an Inductive Graph-based Matrix Completion (IGMC) model to address this problem. IGMC trains a graph neural network (GNN) based purely on 1-hop subgraphs around (user, item) pairs generated from the rating matrix and maps these subgraphs to their corresponding ratings. It achieves highly competitive performance with state-of-the-art transductive baselines. In addition, IGMC is inductive -- it can generalize to users/items unseen during the training (given that their interactions exist), and can even transfer to new tasks. Our transfer learning experiments show that a model trained out of the MovieLens dataset can be directly used to predict Douban movie ratings with surprisingly good performance. Our work demonstrates that: 1) it is possible to train inductive matrix completion models without using side information while achieving similar or better performances than state-of-the-art transductive methods; 2) local graph patterns around a (user, item) pair are effective predictors of the rating this user gives to the item; and 3) Long-range dependencies might not be necessary for modeling recommender systems.

연구 동기 및 목표

• 측정 정보에 의존하지 않고도 새로운 사용자와 아이템으로 일반화 가능한 인덕티브 행렬 완성 모델을 개발하는 것.
• 측정 정보가 없을 경우 (사용자, 아이템) 쌍 주변의 국소적 그래프 패턴이 평점 예측에 효과적인지 여부를 조사하는 것.
• 오직 평점 행렬만 제공되는 극도로 자원이 부족한 환경에서 인덕티브 모델을 훈련할 수 있는지 평가하는 것.
• GNN이 평점 행렬의 구조적 정보만을 사용하여 관련 있는 사용자-아이템 상호작용 패턴을 포착할 수 있는지 평가하는 것.
• 협동 필터링 환경에서 효과적인 추천 모델링을 위해 장거리 의존성이 필수적인지 탐색하는 것.

제안 방법

• 평점 행렬에서 각 (사용자, 아이템) 쌍을 중심으로 1-호프 부분그래프를 구성하여 즉각적인 이웃 상호작용을 포착한다.
• 메시지 전달을 통해 이웃 정보를 집계함으로써 각 1-호프 부분그래프를 해당 평점으로 매핑하는 그래프 신경망(GNN)을 훈련한다.
• 추론 시 부분그래프를 처리하여 사용자 및 아이템 임베딩을 인덕티브하게 학습함으로써 이전에 보지 못한 사용자 또는 아이템에 대한 예측을 가능하게 한다.
• 중심 (사용자, 아이템) 쌍의 평점을 예측하기 위해 부분그래프의 구조와 노드 특징(예: 사용자/아이템 ID)을 처리하는 GNN 아키텍처를 사용한다.
• 유사한 부분그래프가 유사한 임베딩을 가지도록 유도함으로써 표현 품질을 향상시키기 위해 대조 학습 목적함수를 활용한다.
• 기존에 훈련된 GNN 헤드와 새로운 상호작용 데이터를 사용하여 새로운 데이터셋(예: Douban)에서 GNN을 미세조정함으로써 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 측정 정보 없이도 인덕티브 행렬 완성 모델이 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 (사용자, 아이템) 쌍 주변의 국소적 1-호프 부분그래프만으로 평점을 효과적으로 예측할 수 있는가?
• RQ3 한 추천 데이터셋에서 훈련된 GNN 기반 모델이 재학습 없이 다른 데이터셋으로 일반화할 수 있는가?
• RQ4 행렬 완성 환경에서 효과적인 협동 필터링을 위해 장거리 의존성을 모델링하는 것이 필수적인가?
• RQ5 측정 정보 없이도 새로운 사용자/아이템에 대해 제로샷 예측을 수행할 수 있는 인덕티브 능력이 전이 기반 기준 모델보다 뛰어나다는가?

주요 결과

• IGMC는 측정 정보 없이도 최신 기술의 전이 기반 행렬 완성 방법과 비교해도 경쟁력 있는 성능을 달성한다.
• 모델은 추론 도중 새로운 사용자와 아이템으로 효과적으로 일반화되며, 진정한 인덕티브 편향을 보여준다.
• MovieLens 데이터셋에서 미리 훈련된 모델이 어떤 미세조정 없이도 Douban 영화 평점 데이터셋에서 놀랍게 높은 성능을 보이며 강력한 전이 가능성(transferability)을 보였다.
• 장거리 의존성이 필수적이지 않다는 점을 시사하며, 국소적 1-호프 부분그래프만으로도 높은 정확도로 평점을 예측할 수 있다.
• 측정 정보가 없더라도 성능 저하가 발생하지 않으며, IGMC는 인덕티브 및 전이 학습 환경에서 전이 기반 기준 모델을 뛰어넘거나 동등하게 성능을 내는다.
• GNN 기반 접근법은 평점 행렬의 구조적 정보에서 직접적으로 의미 있는 사용자 및 아이템 표현을 학습하여 인덕티브 일반화를 가능하게 했다.