[논문 리뷰] Collaborative Deep Learning for Recommender Systems

Hao Wang, Naiyan Wang외 1명|arXiv (Cornell University)|2014. 09. 10.

Recommender Systems and Techniques인용 수 24

한 줄 요약

이 논문은 추천 시스템에서 평점 희소성 문제를 해결하기 위해 항목 콘텐츠에 대한 딥 레이어링 학습과 사용자 평점에 대한 협업 필터링을 동시에 수행하는 계층적 베이지안 모델인 공동 딥 러닝(CDL)을 제안한다. 스택드 노이즈 제거 오토인코더와 확률적 행렬 분해를 통합함으로써, CDL는 세 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 희소 데이터 조건에서 CTR와 같은 기존 방법들을 크게 능가한다.

ABSTRACT

Collaborative filtering (CF) is a successful approach commonly used by many recommender systems. Conventional CF-based methods use the ratings given to items by users as the sole source of information for learning to make recommendation. However, the ratings are often very sparse in many applications, causing CF-based methods to degrade significantly in their recommendation performance. To address this sparsity problem, auxiliary information such as item content information may be utilized. Collaborative topic regression (CTR) is an appealing recent method taking this approach which tightly couples the two components that learn from two different sources of information. Nevertheless, the latent representation learned by CTR may not be very effective when the auxiliary information is very sparse. To address this problem, we generalize recent advances in deep learning from i.i.d. input to non-i.i.d. (CF-based) input and propose in this paper a hierarchical Bayesian model called collaborative deep learning (CDL), which jointly performs deep representation learning for the content information and collaborative filtering for the ratings (feedback) matrix. Extensive experiments on three real-world datasets from different domains show that CDL can significantly advance the state of the art.

연구 동기 및 목표

• 희소한 사용자 평점 행렬로 인한 협업 필터링(CF) 방법의 성능 저하 문제를 해결하기 위해.
• 수동적인 특징 공학 또는 보조 콘텐츠의 희소성에 대응하지 못하는 기존 하이브리드 방법—특히 느슨하게 결합된 접근 방식—의 한계를 극복하기 위해.
• 항목 콘텐츠에서 깊이 있는 표현을 학습하고 사용자 평점의 협업 신호를 동시에 학습하는 밀착된 엔드 투 엔드 프레임워크를 개발하기 위해.
• 딥 러닝의 표현 능력을 확률적 협업 프레임워크 내에서 활용하여, 신규 또는 드물게 평가된 항목에 대해서도 추천 정확도와 강건성을 향상시키기 위해.

제안 방법

• 항목 콘텐츠에서 깊이 있는 표현을 학습하기 위한 스택드 노이즈 제거 오토인코더(SDAE)와 사용자-항목 평점 모델링을 위한 확률적 행렬 분해(PMF)를 결합한 계층적 베이지안 모델을 수립한다.
• 공동 우도 함수를 통해 콘텐츠 기반 및 평점 기반 학습을 통합함으로써 표현과 협업 신호 간의 상호작용을 이중 방향으로 가능하게 한다.
• 최대 사후확률(MAP) 추정을 통해 모델 파라미터를 학습하고, 베이지안 추론을 위한 샘플링 기반 알고리즘을 도입하여, 역전파를 일반화된 베이지안 프레임워크로 확장한다.
• 텍스트 콘텐츠에서 계층적 비선형 특징을 학습하기 위해 다중 레이어를 갖춘 딥 네ural 네트워크 아키텍처를 활용함으로써, 백오프워드 모델을 초월한 의미 이해 능력을 향상시킨다.
• 스토캐스틱 그래디언트 디센트를 사용한 GPU 가속 최적화를 통해 대규모 데이터셋, 특히 넷플릭스에까지 모델 스케일링을 가능하게 한다.
• 향후 확장성을 위해 CNN 등의 대체 딥 러닝 모델의 유연한 통합을 지원하며, 특히 어순서 및 맥락을 모델링하는 데 유용하다.

실험 결과

연구 질문

• RQ1 항목 콘텐츠에서의 딥 표현 학습이 평점 희소 조건 하에서 협업 필터링 성능을 향상시킬 수 있는가?
• RQ2 콘텐츠 신호와 평점 신호를 공동으로 학습하는 방식이 고립형 또는 느슨하게 결합된 방법보다 추천 정확도에서 어떻게 우월한가?
• RQ3 계층적 베이지안 모델이 딥 네트워크와 협업 필터링을 효과적으로 통합하여 일반화 능력을 향상시킬 수 있는가?
• RQ4 사용자 선호도 변화에 대해 소수의 평점만 있을 경우 모델의 민감도는 어떠한가?
• RQ5 제안된 프레임워크는 넷플릭스와 같은 대규모 실세계 데이터셋에 대해 효율적으로 스케일링될 수 있는가?

주요 결과

• CDL는 세 개의 실세계 데이터셋에서 CTR 및 기타 하이브리드 방법들을 크게 능가하며, 특히 평점 희소 조건에서 최신 기술 수준의 추천 정확도를 달성한다.
• MovieLens 데이터셋에서 사용자가 4개의 평점을 가졌을 때 CDL은 정밀도 50%를 기록하지만, CTR는 여전히 20%에 머물러 있어, 변화하는 사용자 선호도에 대한 뛰어난 적응 능력을 보여준다.
• 사용자 I가 오직 두 개의 평점만 가졌을 때 CDL은 정밀도 30%를 기록하며 CTR와 동일한 성능을 보이지만, 사용자 취향이 변화함에 따라 CDL은 높은 성능를 유지하는 반면 CTR는 적응하지 못함을 확인했다.
• 넷플릭스 데이터셋에서 CDL는 약 100 에포크 만에 만족스러운 성능에 도달하며, 각 에포크는 단 60초가 소요되어 대규모 데이터에 대한 강력한 확장성을 보여준다.
• 모델의 베이지안 공식화는 원칙적인 불확실성 처리와 추가적인 사이드 인포메이션 통합 가능성을 제공하여 강건성을 향상시킨다.
• CDL는 텍스트 콘텐츠에서 의미 있고 맥락 인식 가능한 표현을 학습할 수 있어, CTR가 '흐름'과 '형성' 같은 단어 공기인을 잘못 이해하는 것보다 더 정확하고 해석 가능한 추천을 가능하게 한다.