[논문 리뷰] Hybrid Collaborative Filtering with Autoencoders

Florian Strub, Jérémie Mary외 1명|arXiv (Cornell University)|2016. 03. 02.

Recommender Systems and Techniques참고 문헌 43인용 수 23

한 줄 요약

이 논문은 희박한 평점 행렬에서 비선형 잠재 표현을 학습하기 위해 깊이 있는 오토에인코더 아키텍처에 사용자 및 아이템의 부가 정보를 통합하는 하이브리드 협업 필터링 모델인 CFN을 제안한다. 이 방법은 MovieLens 및 Douban 데이터셋에서 최신 기준 모델들을 능가하며, 냉시작 및 온도 상태 시나리오 모두에서 뛰어난 성능을 보이며, 대규모 추천 시스템에 대해 확장 가능하고 GPU 최적화되어 있다.

ABSTRACT

Collaborative Filtering aims at exploiting the feedback of users to provide personalised recommendations. Such algorithms look for latent variables in a large sparse matrix of ratings. They can be enhanced by adding side information to tackle the well-known cold start problem. While Neu-ral Networks have tremendous success in image and speech recognition, they have received less attention in Collaborative Filtering. This is all the more surprising that Neural Networks are able to discover latent variables in large and heterogeneous datasets. In this paper, we introduce a Collaborative Filtering Neural network architecture aka CFN which computes a non-linear Matrix Factorization from sparse rating inputs and side information. We show experimentally on the MovieLens and Douban dataset that CFN outper-forms the state of the art and benefits from side information. We provide an implementation of the algorithm as a reusable plugin for Torch, a popular Neural Network framework.

연구 동기 및 목표

• 복잡한 비선형 사용자-아이템 관계를 포착하지 못하는 선형 협업 필터링 방법의 한계를 해결하기 위해.
• 사용자 인구통계학적 정보, 아이템 특징 등 부가 정보를 신경망 아키텍처에 직접 통합하여 냉시작 문제를 해결하기 위해.
• 희박한 평점과 이질적인 부가 정보를 동시에 모델링하는 확장 가능하고 엔드 투 엔드로 훈련 가능한 신경망을 설계하기 위해.
• 깊이 있는 오토에인코더가 기존의 행렬 분해 및 하이브리드 모델보다 추천 정확도에서 뛰어나다는 것을 입증하기 위해.
• 재현성과 산업적 구현을 위해 재사용 가능하고 GPU 최적화된 구현을 제공하기 위해.

제안 방법

• 모델은 스택드 노이즈 제거 오토에인코더(SDA)를 사용하여 사용자 및 아이템 평점 벡터로부터 비선형 저차원 표현을 학습한다.
• 부가 정보(예: 사용자 연령, 장르, 태그)는 임bedding 처리되어 평점 벡터와 연결된 후 인코더에 입력된다.
• 원래의 희박한 평점에 대해 복원 손실을 사용하여 네트워크를 훈련시키며, 입력에 노이즈 또는 마스킹을 가하여 강인성을 향상시킨다.
• 인코더는 사용자 및 아이템의 압축된 표현을 학습하고, 디코더는 원래의 평점 행렬을 재구성한다.
• 사용자 및 아이템 표현을 별도로 모델링할 수 있도록 두 개의 브랜치 아키텍처(V-CFN은 사용자 벡터용, U-CFN은 아이템 벡터용)를 사용한다.
• 희박한 입력을 선택적으로 조밀화하여 GPU에서의 효율적인 훈련을 지원하며, 메모리 오버헤드를 최소화하고 계산 처리량을 극대화한다.

실험 결과

연구 질문

• RQ1 딥 오토에인코더 아키텍처는 협업 필터링에서 희박한 평점 행렬로부터 비선형 잠재 요인을 효과적으로 학습할 수 있는가?
• RQ2 통합된 신경망 아키텍처에 부가 정보를 통합하면 추천 성능, 특히 냉시작 시나리오에서 어떻게 향상되는가?
• RQ3 제안된 CFN 모델은 표준 벤치마크 데이터셋에서 기존의 최신 기준 협업 필터링 방법들을 능가하는가?
• RQ4 노이즈 제거 오토에인코더의 사용이 추천 시스템의 강인성과 일반화 능력을 어느 정도 향상시키는가?
• RQ5 희박한 평점 데이터에도 불구하고 모델은 GPU에서 효율적으로 훈련될 수 있는가?

주요 결과

• CFN은 MovieLens 및 Douban 데이터셋에서 최신 기준 협업 필터링 방법들을 능가하며, 더 낮은 RMSE와 향상된 예측 정확도를 달성한다.
• 부가 정보를 효과적으로 활용하여 냉시작 문제를 크게 줄여, 사용자 또는 아이템의 평점이 희박할 경우 성능 향상을 이룬다.
• MovieLens-20M에서 CFN은 194M 매개변수로 GTX 980 GPU에서 34분 내에 훈련되며, ALS-WR(r=200)가 하루가 걸리는 것에 비해 뛰어난 성능을 보인다.
• 부가 정보 추가로 인해 훈련 시간과 메모리 사용량이 약 5%만 증가하여 높은 효율성과 확장성을 보여준다.
• 모델은 온도 상태 및 냉시작 설정 모두에서 뛰어난 성능을 보이며, 데이터 희박성 수준에 관계없이 강인함을 입증한다.
• Torch로 구현된 모델은 재사용 가능하며, 보고된 결과를 재현할 수 있는 하이퍼파rameter를 포함한다.