[논문 리뷰] A Neural Autoregressive Approach to Collaborative Filtering

Yin Zheng, Bangsheng Tang외 2명|arXiv (Cornell University)|2016. 05. 31.

Music and Audio Processing참고 문헌 22인용 수 150

한 줄 요약

CF-NADE는 평점 간 공유 파라미터를 갖는 협업 필터링용 신경 자기회귀 모델이며, 확장성을 위해 팩터링된 버전을 사용하고, 서수 비용을 포함하고, 심층 아키텍처로 확장될 수 있습니다. 이는 MovieLens 및 Netflix 벤치마크에서 RMSE를 최첨단으로 달성합니다.

ABSTRACT

This paper proposes CF-NADE, a neural autoregressive architecture for collaborative filtering (CF) tasks, which is inspired by the Restricted Boltzmann Machine (RBM) based CF model and the Neural Autoregressive Distribution Estimator (NADE). We first describe the basic CF-NADE model for CF tasks. Then we propose to improve the model by sharing parameters between different ratings. A factored version of CF-NADE is also proposed for better scalability. Furthermore, we take the ordinal nature of the preferences into consideration and propose an ordinal cost to optimize CF-NADE, which shows superior performance. Finally, CF-NADE can be extended to a deep model, with only moderately increased computational complexity. Experimental results show that CF-NADE with a single hidden layer beats all previous state-of-the-art methods on MovieLens 1M, MovieLens 10M, and Netflix datasets, and adding more hidden layers can further improve the performance.

연구 동기 및 목표

• CF-NADE를 소개합니다. 이 모델은 NADE와 RBM-CF에서 영감을 받은 협업 필터링을 위한 신경 자기회귀 모델입니다.
• 평점 간 파라미터 공유와 확장성을 위한 팩터화된 매개변수화를 통해 성능을 향상시킵니다.
• 서점 정보를 통해 예측 품질을 개선하기 위해 서수적 특성을 서수 비용으로 통합합니다.
• 계산 비용을 관리 가능한 수준으로 유지하면서 CF-NADE를 심층 아키텍처로 확장합니다.
• MovieLens 1M, MovieLens 10M, Netflix에서 CF-NADE를 평가하여 최첨단 결과를 입증합니다.

제안 방법

• 유저별 CF-NADE를 고정된 아키텍처로 파라미터를 공유하도록 모델링합니다.
• 신경 표현과 점수화 함수(식 3 및 4)를 통해 조건부 평점 확률 p(r_moi|r_{<m_i})를 계산합니다.
• 평점 간 파라미터 공유를 통해 W^k, V^k, b^k의 누적 사용을 형성합니다(식 9 및 10).
• 대규모 매개변수를 줄이기 위해 W^k와 V^k를 저랭크 곱으로 분해합니다(식 11 및 12).
• 서수 정보를 활용하기 위해 서수 비용 C_ord와 하이브리드 목적 함수 C_hybrid를 도입합니다(식 18).
• 심층 CF-NADE로 확장하여 stochastic ordering 및 다층 히든 레이어를 도입하고, 심층 NADE 적응에 맞춘 학습 목표를 사용합니다(식 19-21).

실험 결과

연구 질문

• RQ1 신경 자기회귀 모델(CF-NADE)이 평점 벡터를 효과적으로 모델링하면서도 평점 간 파라미터 공유가 가능한가요?
• RQ2 파라미터 공유와 팩터화된 표현이 대규모 CF 벤치마크에서 확장성과 성능을 향상시키나요?
• RQ3 서수 정보를 서수 비용으로 통합하면 예측 정확도가 향상되나요?
• RQ4 CF-NADE를 계산 비용을 지나치게 증가시키지 않으면서 심층 아키텍처로 확장할 수 있나요?
• RQ5 CF-NADE가 MovieLens 1M, MovieLens 10M, Netflix 데이터셋에서 최첨단 CF 방법들과 어떻게 비교되나요?

주요 결과

Method	Test RMSE
PMF	0.883
U-RBM	0.881
U-AutoRec (Sedhain et al., 2015)	0.874
LLORMA-Global (Lee et al., 2013)	0.865
I-RBM	0.854
BiasMF	0.845
NNMF (Dziugaite & Roy, 2015)	0.843
LLORMA-Local (Lee et al., 2013)	0.833
I-AutoRec (Sedhain et al., 2015)	0.831
U-CF-NADE-S (single layer)	0.850
U-CF-NADE-S (2 layers)	0.845
I-CF-NADE-S (single layer)	0.830
I-CF-NADE-S (2 layers)	0.829

• CF-NADE-Shared 평점(CF-NADE-S)은 MovieLens 1M에서 기준선에 비해 RMSE가 경쟁적이거나 우수합니다.
• 두 번째 은닉층을 추가한 심층 CF-NADE가 얕은 variant들보다 RMSE를 더 개선합니다.
• MovieLens 1M에서 I-CF-NADE-S(단일 층)는 RMSE 0.830, I-CF-NADE-S(2층)는 0.829로 여러 기준선을 능가합니다.
• MovieLens 10M에서 U-CF-NADE-S(단일 층)는 RMSE 0.772이고 두 층에서 0.771로, 다수의 기준선을 이깁니다.
• Netflix에서 U-CF-NADE-S(단일 층)는 RMSE 0.804이고 두 층에서는 0.803으로, 제시된 모든 기준선을 능가합니다.
• 팩터링된 버전은 대규모 데이터셋에서 매개변수 수를 크게 줄이면서 성능 손실이 거의 없거나 전혀 없습니다.