[논문 리뷰] Inductive Matrix Completion Based on Graph Neural Networks

Muhan Zhang, Yixin Chen|arXiv (Cornell University)|2019. 04. 26.

Advanced Graph Neural Networks참고 문헌 51인용 수 31

한 줄 요약

이 논문은 유저-아이템 평점 예측을 위해 전체 평점 행렬이나 보조 정보에 의존하지 않고, 각 (유저, 아이템) 쌍 주변의 국소 1-호프 부분그래프에 대해 그래프 신경망(GNN)을 훈련시는 인덕티브 그래프 기반 행렬 완성(IGMC)이라는 새로운 인덕티브 행렬 완성 모델을 제안한다. IGMC는 벤치마크 데이터셋에서 최고 성능을 기록하며 강력한 전이 가능성도 보이며, 낮은 데이터 양의 환경에서 전이 기반 기준보다 뛰어난 성능을 보이고 새로운 추천 작업에 대해 제로샷 전이를 가능하게 한다.

ABSTRACT

We propose an inductive matrix completion model without using side information. By factorizing the (rating) matrix into the product of low-dimensional latent embeddings of rows (users) and columns (items), a majority of existing matrix completion methods are transductive, since the learned embeddings cannot generalize to unseen rows/columns or to new matrices. To make matrix completion inductive, most previous works use content (side information), such as user's age or movie's genre, to make predictions. However, high-quality content is not always available, and can be hard to extract. Under the extreme setting where not any side information is available other than the matrix to complete, can we still learn an inductive matrix completion model? In this paper, we propose an Inductive Graph-based Matrix Completion (IGMC) model to address this problem. IGMC trains a graph neural network (GNN) based purely on 1-hop subgraphs around (user, item) pairs generated from the rating matrix and maps these subgraphs to their corresponding ratings. It achieves highly competitive performance with state-of-the-art transductive baselines. In addition, IGMC is inductive -- it can generalize to users/items unseen during the training (given that their interactions exist), and can even transfer to new tasks. Our transfer learning experiments show that a model trained out of the MovieLens dataset can be directly used to predict Douban movie ratings with surprisingly good performance. Our work demonstrates that: 1) it is possible to train inductive matrix completion models without using side information while achieving similar or better performances than state-of-the-art transductive methods; 2) local graph patterns around a (user, item) pair are effective predictors of the rating this user gives to the item; and 3) Long-range dependencies might not be necessary for modeling recommender systems.

연구 동기 및 목표

• 측정된 보조 정보 없이도 새로운 유저와 아이템에 일반화할 수 있는 인덕티브 행렬 완성 모델을 개발하는 것.
• 유저-아이템 상호작용 그래프의 국소 그래프 패턴이 평점 예측에 효과적인 인덕티브 바이어스가 될 수 있는지 조사하는 것.
• 극도로 희박한 데이터 상황과 제로샷 전이 학습 설정에서 인덕티브 행렬 완성의 가능성을 평가하는 것.
• 낮은 데이터 양 환경에서 인덕티브 GNN 기반 방법의 성능을 최고 수준의 전이 기반 기준과 비교하는 것.

제안 방법

• IGMC는 평점 행렬에서 이중 그래프를 구성하며, 간선은 유저-아이템 상호작용을 나타낸다.
• 각 (유저, 아이템) 쌍에 대해 해당 쌍을 중심으로 하는 1-호프 둘러싸인 부분그래프를 추출하여 국소 이웃 구조를 캡처한다.
• GNN이 각 부분그래프를 처리하여 국소 그래프 패턴을 노드 및 간선 표현으로 인코딩한다.
• 모델은 부분그래프 표현을 고정된 크기의 벡터로 집계하기 위해 풀링 레이어를 적용한다.
• 로컬 평점 분포에 기반한 일관된 예측을 유도하기 위해 인접 평점 정규화(ARR)를 적용한다.
• 최종 예측은 풀링된 부분그래프 표현에 다층 퍼셉트론을 적용하여 계산된다.

실험 결과

연구 질문

• RQ1 측정된 보조 정보 없이도, 유저-아이템 상호작용 그래프의 국소 그래프 패턴에만 의존하여 인덕티브 행렬 완성을 달성할 수 있는가?
• RQ2 다양한 데이터 희박성 수준에서 인덕티브 GNN 기반 모델의 성능은 최고 수준의 전이 기반 행렬 완성 방법과 어떻게 비교되는가?
• RQ3 한 데이터셋에서 훈련된 IGMC 모델이 다른, 알려지지 않은 추천 데이터셋의 평점을 예측하는 데 얼마나 효과적으로 전이될 수 있는가?
• RQ4 (유저, 아이템) 쌍 주변의 국소 그래프 구조만으로 평점을 예측하는 데 충분한가, 아니면 장거리 의존성도 필요한가?

주요 결과

• IGMC는 MovieLens, Flixster, Douban, YahooMusic와 같은 표준 벤치마크 데이터셋에서 최고 수준의 전이 기반 기준과 경쟁 가능한 성능을 기록한다.
• 낮은 데이터 양 환경(희박성 비율 < 20%)에서 IGMC는 전이 기반 방법을 능가하며, 제한된 훈련 데이터로부터 더 나은 일반화 능력을 보여준다.
• 모델은 강력한 전이 학습 능력을 보이며, MovieLens에서 미리 훈련된 IGMC 모델은 Flixster에서 RMSE 0.906, Douban에서 0.759, YahooMusic에서 20.1을 기록하여 다른 인덕티브 모델과 많은 재훈련 기준보다 뛰어난 성능을 보였다.
• IGMC의 성능는 다양한 평점 척도와 분포를 가진 데이터셋으로 전이될 때에도 뛰어난 안정성을 유지하며, 국소 그래프 패턴으로부터 효과적인 인덕티브 바이어스가 있음을 시사한다.
• 절단 실험 결과, 풀링 레이어와 인접 평점 정규화가 성능 향상에 크게 기여하며, 콘텐츠를 통합하는 것이 추가로 성능 향상을 가져오지 않음을 확인하여, 단지 그래프 패턴만으로도 효과적임을 검증한다.
• 높은 평점과 낮은 평점의 부분그래프를 시각화한 결과, 일관된 사용자/아이템 평균 평점 등의 구조적 패턴이 드러나며, 이는 모델이 국소 위상에서 평점을 추론할 수 있음을 뒷받침한다.