[논문 리뷰] Training Deep AutoEncoders for Collaborative Filtering

Oleksii Kuchaiev, Boris Ginsburg|arXiv (Cornell University)|2017. 08. 05.

Music and Audio Processing참고 문헌 13인용 수 60

한 줄 요약

이 논문은 협업 필터링을 위해 매우 깊은 자동인코더를 학습시키고, Dense re-feeding과 SELU 활성화가 결합되어 Netflix 데이터에 대한 사전 훈련 없이도 미래 평가 예측에서 최첨단 성능을 달성합니다.

ABSTRACT

This paper proposes a novel model for the rating prediction task in recommender systems which significantly outperforms previous state-of-the art models on a time-split Netflix data set. Our model is based on deep autoencoder with 6 layers and is trained end-to-end without any layer-wise pre-training. We empirically demonstrate that: a) deep autoencoder models generalize much better than the shallow ones, b) non-linear activation functions with negative parts are crucial for training deep models, and c) heavy use of regularization techniques such as dropout is necessary to prevent over-fiting. We also propose a new training algorithm based on iterative output re-feeding to overcome natural sparseness of collaborate filtering. The new algorithm significantly speeds up training and improves model performance. Our code is available at https://github.com/NVIDIA/DeepRecommender

연구 동기 및 목표

• 딥 자동인코더를 사용한 추천 시스템의 평점 예측 개선을 동기화한다.
• CF에서 더 깊은 아키텍처가 얕은 아키텍처보다 일반화에 더 유리하다는 것을 보여준다.
• 음의 부분을 가진 비선형 활성화와 강력한 정규화의 중요성을 제시한다.
• 데이터 희소성을 해결하고 학습 속도를 높이기 위해 반복적 Dense Re-feeding을 도입한다.

제안 방법

• 희소한 사용자 평점 벡터로부터 Dense 표현을 학습하기 위해 인코더-디코더 미러를 갖춘 심층 자동인코더를 사용한다.
• 레이어별 사전 학습 없이 엔드투엔드로 학습한다.
• SELU 활성화, 높은 드롭아웃, 제약된(연결된) 가중치를 사용해 과적합을 줄인다.
• 희소 입력에서 Dense 학습 신호를 생성하기 위해 반복적 출력 재피딩을 도입한다.
• 입력 벡터의 0을 무시하기 위해 마스킹된 평균 제곱 오차(MMSE)를 최적화한다.
• 향상된 성능을 위해 더 높은 학습률과 재피딩을 결합한 실험 등 다양한 깊이, 드롭아웃, 학습 규정을 실험한다.

실험 결과

연구 질문

• RQ1 깊은 자동인코더 아키텍처가 협업 필터링에서 얕은 모델보다 미래 평점 예측을 개선할 수 있는가?
• RQ2 특히 음의 부분을 가진 활성화 함수가 심층 CF 자동인코더 학습에 어떤 영향을 미치는가?
• RQ3 일반화 및 수렴속도를 높이는 정규화 및 학습 전략들(예: 드롭아웃, 연결 가중치, Dense Re-feeding)은 무엇인가?
• RQ4 반복적 Dense Re-feeding이 더 높은 학습률로도 성능을 유지하거나 향상시키는가?

주요 결과

데이터세트	I-AR	U-AR	RRN	DeepRec
Netflix 3 months	0.9778	0.9836	0.9427	0.9373
Netflix Full	0.9364	0.9647	0.9224	0.9099

• 더 깊은 자동인코더 아키텍처가 Netflix 데이터에서 얕은 모델에 비해 평가 RMSE를 개선한다.
• 음의 부분이 0이 아니고 음수 영역을 가지며 양의 부분은 제한되지 않는 활성화 함수(SELU 포함)가 이 작업에서 Sigmoid, ReLU, Tanh보다 더 나은 성능을 보인다.
• 코딩 레이어에서의 높은 드롭아웃(예: 0.8)은 과적합을 방지하고 일반화를 향상시킨다.
• 반복적 Dense Re-feeding과 더 높은 학습률의 조합이 기본 학습에 비해 성능을 크게 향상시킨다.
• Netflix Full에서의 Best DeepRec 모델은 실험에서 테스트 RMSE가 0.9099에 도달하여 I-AR, U-AR, RRN 등의 기존 방법보다 우수한 성능을 보인다.
• 적절한 규제화를 갖춘 더 깊은 모델은 평가 데이터에서 미래 평점 예측에 대해 시계열 동적 방법을 능가할 수 있다.