[논문 리뷰] Wide & Deep Learning for Recommender Systems

Heng-Tze Cheng, Levent Koç외 14명|arXiv (Cornell University)|2016. 06. 24.

Recommender Systems and Techniques참고 문헌 8인용 수 260

한 줄 요약

이 논문은 Wide & Deep 학습을 제안하고, 교차곱 피처를 가진 넓은 선형 모델과 임베딩을 가진 깊은 신경망을 함께 학습시켜 추천 시스템의 성능을 개선하며, Google Play에서 온라인 이득을 크게 입증한다.

ABSTRACT

Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort. With less feature engineering, deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features. However, deep neural networks with embeddings can over-generalize and recommend less relevant items when the user-item interactions are sparse and high-rank. In this paper, we present Wide & Deep learning---jointly trained wide linear models and deep neural networks---to combine the benefits of memorization and generalization for recommender systems. We productionized and evaluated the system on Google Play, a commercial mobile app store with over one billion active users and over one million apps. Online experiment results show that Wide & Deep significantly increased app acquisitions compared with wide-only and deep-only models. We have also open-sourced our implementation in TensorFlow.

연구 동기 및 목표

• 희소 입력을 가진 대규모 추천 시스템에서 기억화와 일반화의 균형 필요성을 제시한다.
• wide와 deep 구성요소를 함께 학습시키는 Wide & Deep 학습 프레임워크를 도입한다.
• Google Play에서의 생산적 배치를 설명하고 온라인 성능을 평가한다.
• 오픈 소스 TensorFlow 구현과 실용적인 학습/서비스 고려사항을 제공한다.

제안 방법

• wide 구성요소를 교차곱(feature 변환)을 갖춘 일반화 선형 모델로 정의한다.
• deep 구성요소를 범주형 특성에 대한 임베딩 계층을 가진 피드포워드 신경망으로 정의한다.
• 두 구성요소의 출력을 결합하고 공유 로지스틱 손실로 최적화하여 wide와 deep 구성요소를 함께 학습시킨다.
• 학습 중 wide 부분은 L1 정규화가 적용된 FTRL을, deep 부분은 AdaGrad를 사용한다.
• 새 데이터 재학습 시 임베딩과 가중치를 재사용하는 워밍 스타트 시스템을 구현한다.
• 저지연(≈10 ms) 요구를 충족하기 위해 다중 스레딩과 배치를 이용한 서비스를 최적화한다.

실험 결과

연구 질문

• RQ1 대규모 희소 입력 설정에서 하이브리드 Wide & Deep 모델이 넓은 모델만(와이드-온리)과 깊은 모델만(딥-온리) 대비 추천 정확도를 향상시킬 수 있는가?
• RQ2 Wide와 Deep 구성요소의 공동 학습이 기준선과 비교해 온라인 성능(획득)과 오프라인 지표를 더 좋게 나타내는가?
• RQ3 이런 하이브리드 모델의 생산 배치를 위한 실용적 학습 및 서비스 고려사항(대기시간/지연, 처리량)은 무엇인가?

주요 결과

Model	Offline AUC	Online Acquisition Gain
Wide (control)	0.726	0%
Deep	0.722	+2.9%
Wide & Deep	0.728	+3.9%

• Wide & Deep은 wide-only 대조군 대비 온라인 획득 +3.9%를 달성했다.
• Wide & Deep은 deep-only 모델보다 추가로 +1.0%의 온라인 이득을 기록했다(통계적으로 유의함).
• Offline AUC for Wide & Deep는 0.728로, deep(0.722)과 wide(0.726)보다 약간 높았다.
• 다중 스레딩으로 배치당 처리 지연이 14 ms로 감소하여 Google Play 규모의 확장 가능한 배포를 가능하게 했다.