[논문 리뷰] Outer Product-based Neural Collaborative Filtering

Xiangnan He, Xiaoyu Du외 4명|arXiv (Cornell University)|2018. 08. 12.

Recommender Systems and Techniques참고 문헌 11인용 수 55

한 줄 요약

ConvNCF는 사용자/아이템 임베딩에 대한 외부곱 상호작용 맵을 도입하고 CNN을 사용하여 고차 상관관계를 학습하여 Yelp 및 Gowalla의 암시적 피드백 데이터에서 최상위-k 권고의 최첨단 성과를 달성합니다.

ABSTRACT

In this work, we contribute a new multi-layer neural network architecture named ONCF to perform collaborative filtering. The idea is to use an outer product to explicitly model the pairwise correlations between the dimensions of the embedding space. In contrast to existing neural recommender models that combine user embedding and item embedding via a simple concatenation or element-wise product, our proposal of using outer product above the embedding layer results in a two-dimensional interaction map that is more expressive and semantically plausible. Above the interaction map obtained by outer product, we propose to employ a convolutional neural network to learn high-order correlations among embedding dimensions. Extensive experiments on two public implicit feedback data demonstrate the effectiveness of our proposed ONCF framework, in particular, the positive effect of using outer product to model the correlations between embedding dimensions in the low level of multi-layer neural recommender model. The experiment codes are available at: https://github.com/duxy-me/ConvNCF

연구 동기 및 목표

• 임베딩 차원 간의 상관관계를 명시적으로 모델링하는 신경 협업 필터링 모델의 동기를 제시한다.
• 임베딩 차원 간의 관계를 포착하기 위해 외적 곱(outer product) 상호작용 맵을 제안한다.
• 상호작용 맵으로부터 고차 상관관계를 학습하기 위해 CNN을 확장 가능한 방식으로 활용한다.
• 암시적 피드백 데이터셋에서 최첨단 방법들에 비해 실험적으로 이점을 보여준다.

제안 방법

• 원-핫 인코딩 입력으로부터 학습된 피처 기반 임베딩으로 사용자와 아이템을 표현한다.
• 상호작용 맵 E를 외적 곱 p_u q_i^T로 계산하여 차원 간 쌍의 상관관계를 KxK 행렬로 형성한다.
• 상호작용 맵에 CNN을 적용하여 고차 상관 신호를 추출한다.
• CNN에서 도출된 특징 뒤의 최종 선형 계층으로 y_hat_ui를 예측하고, Bayesian Personalized Ranking(BPR) 목표로 학습한다.
• MF로 임베딩을 선학습하고, 임베딩, CNN 계층 및 출력 계층에 대해 L2 정규화를 적용하여 ConvNCF 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 Can ConvNCF가 암시적 피드백 데이터에서 최첨단 추천 방법을 능가할 수 있는가?
• RQ2 외적 곱 상호작용 맵과 CNN 기반 계층이 기존의 MLP/GMF 방식에 비해 차원 간 상관관계 학습을 개선하는가?
• RQ3 합성곱 특징 맵의 수가 ConvNCF 성능에 어떤 영향을 미치는가?
• RQ4 이 작업에서 ConvNCF가 MLP 기반보다 더 안정적이고 확장성이 있는가?

주요 결과

• ConvNCF는 일반적으로 Yelp와 Gowalla 데이터셋에서 기준 모델과 비교하여 최상위 Top-k 성능을 달성한다.
• 외적 곱을 연결(concatenation) 또는 원소별 곱(element-wise product)으로 대체하면 성능이 감소하여 차원 상관관계 모델링의 이점을 보여준다.
• CNN 기반 ConvNCF(ConvNCF)는 동등한 CNN-온-MLP(ONCF-mlp)보다 우수하여 로컬 연결 설계의 효율성과 효과를 시사한다.
• JRL(MLP 기반)은 일관되게 ConvNCF에 의해 능가되며, 임베딩 차원 간의 명시적 상관관계의 중요성을 강조한다.
• 레이어당 CNN 피처 맵의 수는 성능의 큰 손실 없이 달라질 수 있어 ConvNCF 아키텍처의 우수한 일반화 가능성을 시사한다.