[논문 리뷰] Online Bagging for Recommendation with Incremental Matrix Factorization.

João Vinagre, Alí­pio Jorge외 1명|arXiv (Cornell University)|2016. 01. 01.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 지속적이고 무한한 데이터 스트림을 처리하기 위해 증분 행렬 분해를 사용하는 온라인 배깅을 제안한다. 스트리밍 중인 양성 피드백에 앙상블 학습을 적용함으로써, 최소한의 계산 오버헤드로 기준 모델 대비 추천 정확도를 35% 이상 향상시킨다.

ABSTRACT

Online recommender systems often deal with continuous, potentially fast and unbounded flows of data. Ensemble methods for recommender systems have been used in the past in batch algorithms, however they have never been studied with incremental algorithms, that are capable of processing those data streams on the fly. We propose online bagging, using an incremental matrix factorization algorithm for positive-only data streams. Using prequential evaluation, we show that bagging is able to improve accuracy more than 35% over the baseline with small computational overhead.

연구 동기 및 목표

• 온라인 추천 시스템에서 지속적이고 무한한 데이터 스트림을 처리하는 과제를 해결한다.
• 이전에는 배치 환경에서만 사용된 앙상블 방법을 증분적이고 온라인 학습 환경으로 확장한다.
• 샘플링된 데이터 스트림으로 훈련된 다수의 모델을 조합하여 실시간 추천 정확도를 향상시킨다.
• 동적인 환경에서 높은 예측 성능를 유지하면서 계산 비용을 최소화한다.

제안 방법

• 들어오는 데이터 스트림에서 부트스트랩 샘플링을 통해 다수의 기본 모델을 생성함으로써 온라인 배깅을 적용한다.
• 새로운 사용자-아이템 상호작용이 도착할 때마다 효율적으로 모델을 업데이트하기 위해 증분 행렬 분해를 사용한다.
• 부정적 피드백을 회피하고 스트리밍 방식으로 오직 양성 피드백(예: 클릭, 좋아요)만 처리한다.
• 학습 중에도 지속적으로 모델 성능을 평가하기 위해 사전순 평가(prequential evaluation)를 활용한다.
• 실시간으로 기저 추정기들을 동적으로 샘플링하고 업데이트함으로써 모델의 다양성과 정확도를 유지한다.
• 다양한 증분 모델의 예측을 조합하여 최종적으로 안정적인 추천 출력을 도출한다.

실험 결과

연구 질문

• RQ1 배깅과 같은 앙상블 방법은 증분 행렬 분해에 효과적으로 적용될 수 있는가?
• RQ2 온라인 배깅은 스트리밍 데이터에서 표준 증분 행렬 분해 대비 정확도에서 어떻게 비교되는가?
• RQ3 온라인 배깅의 계산 비용은 기준 모델 대비 얼마나 되는가?
• RQ4 양성 피드백 전용 데이터 스트림 환경에서 온라인 배깅은 추천 정확도를 얼마나 향상시키는가?

주요 결과

• 온라인 배깅은 기준 증분 행렬 분해 모델 대비 추천 정확도를 35퍼센트 이상 향상시킨다.
• 낮은 계산 오버헤드를 유지하므로 데이터 스트림 환경에서 실시간 구현에 적합하다.
• 사전순 평가를 통해 무한한 데이터 볼륨에서도 지속적인 성능 향상이 확인되었다.
• 앙상블 접근법은 동적인 추천 시나리오에서 분산을 효과적으로 줄이고 일반화 성능을 향상시킨다.
• 증분 행렬 분해의 사용으로 다시 시작부터 재학습하지 않고도 효율적인 모델 업데이트가 가능해졌다.
• 부정적 신호가 명시적으로 존재하지 않음에도 불구하고, 양성 피드백 전용 스트림이 효과적으로 처리되어 모델 정확도가 유지되었다.