[논문 리뷰] NeuRec: On Nonlinear Transformation for Personalized Ranking

Shuai Zhang, Lina Yao외 4명|arXiv (Cornell University)|2018. 05. 08.

Recommender Systems and Techniques참고 문헌 21인용 수 16

한 줄 요약

NeuRec는 음성 피드백을 사용하여 개인화된 순위 매기기 성능을 향상시키기 위해 비선형 변환과 잠재 요인 모델을 통합한 딥 뉴럴 네트워크 기반 추천 모델을 제안한다. 사용자 기반 및 아이템 기반 신경망을 통해 사용자 및 아이템 간 상호작용을 모델링함으로써, 더 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성하며, NDCG(정규화된 누적 할인 수익) 기준으로 기준 모델 대비 최대 12.29% 향상된다.

ABSTRACT

Modeling user-item interaction patterns is an important task for personalized recommendations. Many recommender systems are based on the assumption that there exists a linear relationship between users and items while neglecting the intricacy and non-linearity of real-life historical interactions. In this paper, we propose a neural network based recommendation model (NeuRec) that untangles the complexity of user-item interactions and establishes an integrated network to combine non-linear transformation with latent factors. We further design two variants of NeuRec: user-based NeuRec and item-based NeuRec, by concentrating on different aspects of the interaction matrix. Extensive experiments on four real-world datasets demonstrated their superior performances on personalized ranking task.

연구 동기 및 목표

• 개인화된 순위 매기기에서 협업 필터링의 선형 가정에 기인한 한계를 해결한다.
• 음성 피드백 기반으로 깊이 있는 신경망을 활용해 복잡한 비선형 사용자-아이템 상호작용 패턴을 모델링한다.
• 기존 딥 러닝 기반 추천 시스템 대비 성능 향상을 이끌어내면서도 모델 파라미터를 줄인다.
• 상호작용 행렬의 다양한 측면을 탐색하기 위해 사용자 기반 및 아이템 기반 두 가지 변형(U-NeuRec, I-NeuRec)을 개발한다.
• 잠재 요인 모델과 딥 뉴럴 네트워크의 장점을 통합하여 음성 피드백 환경에서의 성능을 향상시키는 통합 프레임워크를 제공한다.

제안 방법

• 사용자 및 아이템 상호작용 벡터에 별도로 딥 뉴럴 네트워크를 적용하는 두 가지 변형인 U-NeuRec과 I-NeuRec을 제안한다.
• 다층 퍼셉트론(MLP)을 사용해 상호작용 행렬에서 사용자 또는 아이템 상호작용 패턴의 비선형 변환을 학습한다.
• 신경망의 출력을 잠재 요인 표현과 통합하여 선형 및 비선형 관계를 모두 모델링한다.
• 개인화된 순위 매기기 작업을 최적화하기 위해 쌍별 순위 손실(Pairwise ranking loss, BPR 유사)을 적용한다.
• 은닉층에서 시그모이드 활성화 함수를 사용하여 출력을 [0,1] 범위로 제약함으로써 이진 음성 피드백과 일치시킨다.
• 잠재 요인 크기, 뉴런 수, 깊이, 활성화 함수 등의 하이퍼파rameter를 최적화하여 성능와 일반화 능력의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 BPR 및 SLIM과 같은 선형 모델 대비 비선형 딥 뉴럴 네트워크가 음성 피드백 환경에서 개인화된 순위 매기기 성능을 향상시킬 수 있는가?
• RQ2 잠재 요인 모델과 딥 뉴럴 네트워크의 통합이 복잡한 사용자-아이템 상호작용을 어떻게 향상시키는가?
• RQ3 신경망 아키텍처의 차이(예: 깊이, 너비, 활성화 함수)가 순위 매기기 성능에 어떤 영향을 미치는가?
• RQ4 U-NeuRec과 I-NeuRec이 다른 성능 패턴을 보이는 이유는 무엇이며, 설계 선택이 일반화에 어떤 영향을 미치는가?
• RQ5 기존 최신 기술 수준 모델보다 더 적은 파라미터로도 딥 뉴럴 네트워크 모델이 뛰어난 성능을 달성할 수 있는가?

주요 결과

• NeuRec은 네 개의 실세계 데이터셋에서 모든 기준 모델을 능가하며, Movielens HetRec에서 8.61%, Movielens 1M에서 12.29%의 NDCG 향상을 기록했다.
• 쌍별 학습에서 사용자 기반 변형(U-NeuRec)이 아이템 기반 변형(I-NeuRec)보다 더 우수한 성능를 보이며, 이는 긍정적 및 부정적 아이템을 독립적으로 표현할 수 있기 때문이다.
• 최적의 성능는 잠재 요인 크기가 30에서 50 사이일 때 달성되며, 더 큰 차원에서는 과적합을 피하기 위해 필요하다.
• 모델 복잡도는 균형이 필요하다—너무 적거나 너무 많은 뉴런은 과적합 또는 일반화 능력 저하를 유도하며, 최고 성능는 약 150~250개의 뉴런에서 관찰된다.
• 시그모이드 활성화 함수가 ReLU, tanh, 항등함수보다 우수한 성능를 보이며, 이는 이진 피드백에 적합하게 출력을 [0,1]로 제약할 수 있기 때문이다.
• 7층을 초과하는 깊이의 네트워크에서는 성능 저하가 심각하게 발생하며, 이는 이 작업에 대해 얕은 네트워크(3~7층)가 최적임을 시사한다.