[논문 리뷰] Deep density networks and uncertainty in recommender systems

Yoel Zeldes, Stavros Theodorakis외 4명|arXiv (Cornell University)|2017. 11. 07.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 8

한 줄 요약

이 논문은 콘텐츠 추천 시스템에서 측정, 데이터, 모델 불확실성을 모델링하여 다중 손실 밴딧 설정에서 낙관적 탐색을 가능하게 하는 하이브리드 딥 네ural 네트워크인 딥 디퍼티 네트워크(DDN)를 소개한다. 측정 노이즈와 데이터 불확실성을 분리하고 가우시안 성분을 가진 믹스처 디퍼티 네트워크(MDN)를 사용함으로써 DDN은 온라인 추천 성능을 향상시켜 실제 운영 환경에서 기준 모델 대비 2.9% RPM 향상과 11.7% 높은 목표 처리량을 달성한다.

ABSTRACT

Building robust online content recommendation systems requires learning complex interactions between user preferences and content features. The field has evolved rapidly in recent years from traditional multi-arm bandit and collaborative filtering techniques, with new methods employing Deep Learning models to capture non-linearities. Despite progress, the dynamic nature of online recommendations still poses great challenges, such as finding the delicate balance between exploration and exploitation. In this paper we show how uncertainty estimations can be incorporated by employing them in an optimistic exploitation/exploration strategy for more efficient exploration of new recommendations. We provide a novel hybrid deep neural network model, Deep Density Networks (DDN), which integrates content-based deep learning models with a collaborative scheme that is able to robustly model and estimate uncertainty. Finally, we present online and offline results after incorporating DNN into a real world content recommendation system that serves billions of recommendations per day, and show the benefit of using DDN in practice.

연구 동기 및 목표

• 사용자-아이템 상호작용의 불확실성을 모델링하여 콘텐츠 추천 시스템의 쿨스타트 문제를 해결하기 위해.
• 낙관적 이용/탐색 전략에 불확실성 추정을 통합하여 온라인 추천 시스템의 탐색 효율성을 향상시키기 위해.
• 측정, 데이터, 모델 불확실성의 세 가지 유형을 명시적으로 분리하고 모델링하는 통합 딥 러닝 모델을 개발하기 위해.
• 수십억 건의 일일 추천을 처리하는 대규모 실세계 콘텐츠 추천 시스템에서 불확실성 인식 모델링의 효과를 검증하기 위해.
• 측정 노이즈를 데이터 불확실성에서 분리하면 노이즈가 많은 훈련 데이터에서 일반화 및 강건성 향상에 기여하는가를 검증하기 위해.

제안 방법

• 콘텐츠 기반 표현과 협업 필터링을 협업 융합 기반으로 통합하는 하이브리드 딥 네ural 네트워크인 딥 디퍼티 네트워크(DDN)를 제안한다.
• 예측 불확실성을 캡처하는 출력 분포를 가진 믹스처 디퍼티 네트워크(MDN)를 사용해 불확실성을 모델링한다.
• 가우시안 분포를 사용해 측정 노이즈를 명시적으로 모델링하고, 데이터 불확실성에서 이를 분리함으로써 노이즈가 많은 데이터에서의 강건성 향상에 기여한다.
• 훈련 중에 측정 노이즈와 데이터 불확실성을 분리함으로써 노이즈가 많은 레이블의 영향을 감소시키는 하이브리드 손실 함수를 도입한다.
• 불확실성 추정 기반의 낙관적 탐색 전략을 적용하여 불확실성이 높은 행동을 우선순위에 두어 장기적 보상을 향상시킨다.
• 모델 불확실성을 추정하기 위해 몬테카를로 드롭아웃을 사용해 완전한 베이지안 추론 없이도 불확실성 인식 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 측정, 데이터, 모델 불확실성을 명시적으로 모델링하면 대규모 온라인 시스템에서 추천 성능 향상에 기여하는가?
• RQ2 측정 노이즈를 데이터 불확실성에서 분리하면 노이즈가 많은 훈련 데이터에서 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 불확실성 추정이 콘텐츠 추천을 위한 다중 손실 밴딧 설정에서 탐색 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 불확실성 기반 선택을 사용할 경우, 즉각적 보상(RPM)과 장기적 탐색(신규 목표 및 광고주 처리량) 사이의 상충 관계는 어떠한가?
• RQ5 불확실성 추정 기능을 갖춘 하이브리드 DNN 모델이 실세계 운영 환경에서 표준 딥 러닝 및 믹스처 디퍼티 모델보다 우수한 성능을 내는가?

주요 결과

• DDN은 매우 최적화되고 경쟁력 있는 최첨단 모델인 기준(REG) 모델 대비 온라인 RPM에서 2.9% 향상된 성과를 기록했다.
• MDN 기준 모델 대비 DDN은 온라인 RPM에서 1.7% 향상되어 측정 노이즈를 명시적으로 모델링하는 데서 유의미한 이점이 있음을 입증했다.
• 노이즈가 많은 데이터셋(D1)에서 DDN은 MSE 기준으로 MDN 대비 5.3% 향상된 성능을 보여, 노이즈가 많은 레이블에 대한 강건성을 입증했다.
• 탐색 파rameter $a$ 를 증가시킬 경우, 목표 처리량은 11.7% 증가하고 광고주 처리량은 5.1% 증가했으며, RPM은 단지 0.05% 감소에 그쳤다.
• 고의미성 데이터셋(D2)에서 MSE는 2.7% 향상되어 데이터 품질 수준에 관계없이 일관된 성과 향상을 보였다.
• 불확실성 추정 기반 낙관적 탐색 전략은 목표 처리량을 6.5% 증가시키고 광고주 처리량을 2.1% 증가시켜 새로운 콘텐츠 및 광고주의 발견이 향상됨을 확인했다.