[논문 리뷰] Neural Collaborative Filtering

Xiangnan He, Lizi Liao외 4명|arXiv (Cornell University)|2017. 08. 16.

Recommender Systems and Techniques참고 문헌 34인용 수 221

한 줄 요약

본 논문은 Implicit 피드백에 대한 사용자-아이템 상호작용을 모델링하기 위한 신경망 기반 프레임워크인 Neural Collaborative Filtering (NCF)을 도입하여 행렬 분해를 심층 학습과 결합하고 확장한다. GMF, MLP, NeuMF가 실제 데이터셋에서 추천 정확도를 향상시킨다는 것을 보여준다.

ABSTRACT

In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -- collaborative filtering -- on the basis of implicit feedback. Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -- the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items. By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural network-based Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.

연구 동기 및 목표

• 암시적 피드백이 있는 협업 필터링에서 사용자-아이템 상호작용 함수를 모델링하기 위해 심층 신경망의 사용을 제안한다.
• 행렬 분해를 일반화하는 일반적인 신경망 기반 협업 필터링(NCF) 프레임워크를 제안한다.
• 또한 NCF를 GMF와 MLP로 구현하고 이 둘을 융합하기 위한 NeuMF를 제안한다.
• 실제 데이터셋(MovieLens 및 Pinterest)에서 실증적 향상을 입증한다.
• 네트워크 깊이와 사전 학습이 성능에 미치는 영향을 분석한다.

제안 방법

• 사용자 및 아이템 입력을 임베딩으로 매핑된 원-핫 특성으로 정의한다.
• 상호작용 함수 f를 신경망으로 모델링한다( GMF는 선형 커널, MLP는 비선형 커널, NeuMF는 두 가지를 융합).
• 음성 피드백에 대한 확률적/로지스틱 손실(이진 교차 엔트로피)과 음수 샘플링을 사용해 학습한다.
• 사전 학습된 GMF 및 MLP 구성요소에서 초기화하여 NeuMF에 대한 사전 학습 전략을 제공한다.
• 두 개의 데이터셋에서 기초 MF 기반 방법 및 추천 알고리즘과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 신경망이 MF의 내적 곱을 넘어 암시적 피드백에서 복잡한 사용자-아이템 상호작용을 포착할 수 있는가?
• RQ2 더 깊은 네트워크가 추천 성능을 향상시키는가, 그리고 GMF, MLP, NeuMF의 비교는 어떠한가?
• RQ3 GMF와 MLP로부터 NeuMF를 사전 학습시키는 것이 최적화와 결과를 개선하는가?
• RQ4 실제 데이터셋에서 NCF 변형이 최첨단 기준선과 비교해 어떤 성능을 보이는가?

주요 결과

Table 1: Dataset statistics	Table 2: NeuMF and pre-trained variants performance (HR@10, NDCG@10)
MovieLens	1,000,209 interactions; 3,706 items; 6,040 users; 95.53% sparsity
Pinterest	1,500,809 interactions; 9,916 items; 55,187 users; 99.73% sparsity

• NeuMF가 최고 성능을 달성하며 두 데이터셋에서 eALS 및 BPR 기반선보다 유의하게 더 우수하다.
• GMF와 MLP는 각각 강력하며, NeuMF는 이들의 융합으로 이점을 얻는다.
• NeuMF의 사전학습은 데이터셋 전체에 걸쳐 일관된 향상을 제공하며, 특히 더 큰 요인 크기에서 두드러진다.
• 상위 10개 추천에서( HR@10 및 NDCG@10 ), K=1..10에 걸쳐 기준선보다 NeuMF가 우수하다.
• 더 깊은 네트워크(더 많은 예측 인자)가 일반적으로 성능을 향상시키지만, 일부 경우에는 수익 증가가 둔화된다.