[논문 리뷰] On hybrid modular recommendation systems for video streaming

Evripidis Tzamousis, Maria Papadopouli|arXiv (Cornell University)|2019. 01. 05.

Recommender Systems and Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다양한 추천 기법—협업 필터링, 콘텐츠 기반, 신경망—을 동적으로 선택하고 융합하는 모듈러한 하이브리드 추천 시스템인 \textepsilon n \alpha bler를 제안한다. 이 시스템은 성능을 최적화하기 위해 중첩 교차 검증을 사용하며, Movielens 1M 데이터셋에서 RMSE 0.8206을 기록하여 AutoRec(0.827)와 SVD(0.845)와 같은 최신 기법들을 능가한다. 또한 그리스 통신사와의 실세계 현장 연구에서 RMSE가 16% 향상되어 뛰어난 성능을 입증한다.

ABSTRACT

The recommendation systems aim to improve the user engagement by recommending appropriate personalized content to users, exploiting information about their preferences. We propose the enabler, a hybrid recommendation system which employs various machine-learning (ML) algorithms for learning an efficient combination of several recommendation algorithms and selects the best blending for a given input.Specifically, it integrates three layers, namely, the trainer which trains the underlying recommenders, the blender which determines the most efficient combination of the recommenders, and the tester for assessing the performance of the system. The enabler incorporates a variety of recommendation algorithms that span from collaborative filtering and content-based techniques to ones based on neural networks. It uses the nested cross validation for automatically selecting the best ML algorithm along with its hyper-parameter values for the given input, according to a specific metric. The enabler can be easily extended to include other recommenders and blenders. The enabler has been extensively evaluated in the context of video-streaming. It outperforms various other algorithms, when tested on the Movielens 1M benchmark dataset.encouraging results. Moreover For example, it achieves an RMSE of 0.8206, compared to the state-of-the-art performance of the AutoRec and SVD, 0.827 and 0.845, respectively. A pilot web-based recommendation system was developed and tested in the production environment of a large telecom operator in Greece. Volunteer customers of the video-streaming service provided by the telecom operator employed the system in the context of an out-in-the-wild field study with a post-analysis of the enabler, using the collected ratings of the pilot, demonstrated that it significantly outperforms several popular recommendation algorithms.

연구 동기 및 목표

• 입력에 따라 최적의 추천 알고리즘을 선택하는 데 도전하는 것. 성능은 데이터셋과 조건에 따라 크게 달라지기 때문이다.
• 협업 필터링, 콘텐츠 기반, 신경망 기반 기법을 동적으로 조합하여 추천 정확도를 향상시키기 위해 기계 학습을 활용하는 것.
• 중첩 교차 검증을 통해 최적의 융합 알고리즘과 하이퍼파라미터를 자동으로 선택하는 모듈러하고 확장 가능한 프레임워크를 개발하여 과도한 성능 추정을 방지하는 것.
• 대규모 영상 스트리밍 서비스에서의 시범 배포를 통해 시스템의 실세계 적용 효과를 검증하는 것.
• 사용자 참여 신호와 시간적 행동 패턴을 통합하여 다른 분야, 특히 개인화된 헬스케어에까지 프레임워크의 일반화를 가능하게 하는 것.

제안 방법

• 시스템은 세 층으로 구성된 아키텍처를 사용한다. 트레이너는 개별 추천 기반 모델을 학습하고, 블렌더는 지도 학습 모델을 사용해 예측을 융합하며, 테스터는 교차 검증을 통해 성능을 평가한다.
• 성능을 높이고 과적합을 방지하기 위해 최적의 융합 알고리즘(예: 선형 회귀, 랜덤 포레스트, 신경망)과 하이퍼파라미터를 목표 지표 기반으로 선택하기 위해 중첩 교차 검증을 사용한다.
• k-NN, SVD, AutoRec, 콘텐츠 기반 방법 등 다양한 추천 기반 모델을 통합하여 서로 다른 추천 철학 간의 하이브리드화를 가능하게 한다.
• 블렌더 레이어는 선형 회귀, 랜덤 포레스트, 인공 신경망 등의 다수의 메타러닝 모델을 사용해 각 입력 인스턴스에 대해 기본 추천 기반 모델 출력의 최적 가중 조합을 학습한다.
• 새로운 추천 기반 모델과 융합 알고리즘을 쉽게 통합할 수 있도록 모듈러하고 확장 가능한 아키텍처로 설계되어 있다.
• 현장 평가로는 그리스 통신사의 영상 스트리밍 서비스에서 실제 사용자를 대상으로 웹 기반 시범 시스템을 생산 환경에 배포하였다.

실험 결과

연구 질문

• RQ1 최적의 융합 알고리즘과 하이퍼파라미터를 자동으로 선택하는 하이브리드 추천 시스템이 개별 추천 기반 모델보다 뛰어난 예측 정확도를 달성할 수 있는가?
• RQ2 다양한 융합 모델(예: 선형 회귀, 랜덤 포레스트, 신경망)의 성능은 벤치마크 및 실세계 데이터셋에서 어떻게 달라지는가?
• RQ3 모듈러한 하이브리드 접근 방식은 실세계 영상 스트리밍 환경에서 사용자 참여도를 얼마나 향상시키는가?
• RQ4 중첩 교차 검증이 최적의 융합 구성 설정을 선택할 때 과도한 성능 추정을 효과적으로 방지할 수 있는가?
• RQ5 희박한 평가 데이터와 복잡한 사용자 행동 패턴을 포함한 실세계 데이터에 대해 시스템은 얼마나 잘 일반화되는가?

주요 결과

• Movielens 1M 벤치마크에서 \textepsilon n \alpha bler는 RMSE 0.8206을 기록하여 AutoRec(0.827)와 SVD(0.845)를 능가했다.
• 현장 연구 데이터의 오프라인 후분석에서 \textepsilon n \alpha bler는 SVD 대비 RMSE를 16% 이상 감소시켜 실세계 환경에서의 뚜렷한 정확도 향상을 입증했다.
• Movielens 데이터셋에서 선형 회귀 모델이 최적의 융합 알고리즘으로 선택되었으며, RMSE = 0.7372로 랜덤 포레스트(0.7679)와 ANN(0.7730)를 모두 앞섰다.
• 실세계 현장 연구에서 추천 콘텐츠의 중앙값 시청 시간은 41분이었고, 비추천 콘텐츠의 20분보다 두 배 이상 높아 사용자 참여도 향상을 시사했다.
• 시스템은 실세계 데이터에서 선형 관계를 성공적으로 식별했으며, 신경망이 성능이 열 劣한 상황에서도 이를 반영해 적응형 융합 선택의 중요성을 입증했다.
• 모듈러한 설계 덕분에 새로운 추천 기반 모델과 융합 알고리즘을 쉽게 확장할 수 있어 향후 확장성과 적응성에 유리하다.