[논문 리뷰] Bandits Warm-up Cold Recommender Systems

Jérémie Mary, Romaric Gaudel외 1명|arXiv (Cornell University)|2014. 07. 10.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 배치 행렬 분해를 온라인, 순차적 결정 프레임워크로 전환하여 측면 정보에 의존하지 않고 추천 시스템의 쿨스타트 문제를 해결하는 BeWARE라는 문맥적 밴디트 기반 알고리즘을 제안한다. 사용자 및 아이템 잠재 요인의 불확실성 기반 탐색을 통해 신뢰도 구간을 활용함으로써 BeWARE는 탐색과 이용의 균형을 효과적으로 유지하며, 넷플릭스 및 마이브멜로우스와 같은 실세계 데이터셋에서 게으른 기반선보다 뛰어난 성능을 보인다. 특히 초기 단계의 추천에서 두드러진 성능 향상을 보인다.

ABSTRACT

We address the cold start problem in recommendation systems assuming no contextual information is available neither about users, nor items. We consider the case in which we only have access to a set of ratings of items by users. Most of the existing works consider a batch setting, and use cross-validation to tune parameters. The classical method consists in minimizing the root mean square error over a training subset of the ratings which provides a factorization of the matrix of ratings, interpreted as a latent representation of items and users. Our contribution in this paper is 5-fold. First, we explicit the issues raised by this kind of batch setting for users or items with very few ratings. Then, we propose an online setting closer to the actual use of recommender systems; this setting is inspired by the bandit framework. The proposed methodology can be used to turn any recommender system dataset (such as Netflix, MovieLens,...) into a sequential dataset. Then, we explicit a strong and insightful link between contextual bandit algorithms and matrix factorization; this leads us to a new algorithm that tackles the exploration/exploitation dilemma associated to the cold start problem in a strikingly new perspective. Finally, experimental evidence confirm that our algorithm is effective in dealing with the cold start problem on publicly available datasets. Overall, the goal of this paper is to bridge the gap between recommender systems based on matrix factorizations and those based on contextual bandits.

연구 동기 및 목표

• 사용자 또는 아이템에 대한 문맥 정보가 없을 때 추천 시스템의 쿨스타트 문제를 해결하기 위해.
• 기존의 행렬 분해 기반 추천 시스템과 온라인, 순차적 결정 프레임워크인 문맥적 밴디트 간 격차를 메우기 위해.
• 사용자 및 아이템 상호작용의 초반 단계에서 탐색과 이용을 균형 잡는 효율적인 온라인 알고리즘을 설계하기 위해.
• 잠재 요인 공간에서의 불확실성 기반 탐색 전략이 초기 추천 성능 향상에 미치는 영향을 평가하기 위해.
• 최소한의 계산 오버헤드로 실세계 웹 스케일 애플리케이션에 실용적으로 구현 가능한 알고리즘을 가능하게 하기 위해.

제안 방법

• 사용자-아이템 상호작용 순서를 시뮬레이션하여 정적 배치 행렬 분해 데이터셋(예: 마이브멜로우스, 넷플릭스)을 순차적 결정 프로세스로 변환한다.
• 각 사용자 및 아이템을 행렬 분해에서 유도된 잠재 벡터로 표현하고, 행동은 아이템 추천에 해당하는 문맥적 밴디트 프레임워크를 적용한다.
• 잠재 요인 추정의 불확실성에서 유도된 신뢰도 구간을 활용하여 탐색을 이끌며, 평가 수가 적은 아이템이나 사용자에 우선순위를 둔다.
• 두 가지 변종을 구현: BeWARE.Item(아이템 불확실성 기반 탐색) 및 BeWARE.User(사용자 불확실성 기반 탐색).
• 행렬 분해에 대해 교차 최소 제곱법(ALS-WR)을 사용하며, 시간 단계를 거치면서도 낮은 계산 비용을 유지하기 위해 점진적 업데이트를 구현한다.
• 잠재 요인을 문맥으로 간주하고, 신뢰도 구간을 탐색 신호로 삼음으로써 행렬 분해와 문맥적 밴디트 간의 체계적인 연결을 제안한다.

실험 결과

연구 질문

• RQ1 측면 정보 없이도 문맥적 밴디트 프레임워크가 추천 시스템의 쿨스타트 문제에 효과적으로 적용될 수 있는가?
• RQ2 잠재 요인 공간에서의 불확실성 기반 탐색 전략이 초기 단계 추천 성능에서 게으른 탐색 또는 균일 탐색보다 어떻게 비교되는가?
• RQ3 쿨스타트 상황에서 아이템 불확실성 기반 탐색과 사용자 불확실성 기반 탐색 간의 영향은 어떠한가?
• RQ4 실세계 데이터셋에서 아이템 및 사용자 수가 증가함에 따라 제안된 방법의 위험도는 어떻게 변화하는가?
• RQ5 웹 스케일 시스템에서 실시간 배포에 적합한 수준으로 온라인 밴디트 적응의 계산 비용을 낮출 수 있는가?

주요 결과

• 아이템 불확실성 기반 탐색을 수행하는 BeWARE.Item은 넷플릭스 및 마이브멜로우스 데이터셋에서 게으른 기반선 및 다른 탐색 전략을 일관되게 능가한다.
• BeWARE.User는 넷플릭스 데이터셋에서 게으른 기반선(Greedy.ALS-WR)에 비해 성능이 열등한 유일한 변종이었으며, 이는 사용자 수준의 불확실성이 초기 탐색에 덜 효과적일 수 있음을 시사한다.
• UCB.on.all.users는 넷플릭스에서 놀랍게 잘 성과를 냈는데, 이는 데이터셋이 상위 250개의 대표 블록버스터 중심이기 때문에 사용자 선호도가 높게 상관되어 있어 개인화된 탐색이 필요로 하지 않기 때문이다.
• BeWARE의 위험도는 아이템 수가 아닌 요인 분해 차원에 따라 스케일링되며, 이는 대규모 아이템 카탈로그에서 글로벌 UCB 전략보다 더 우수한 확장성을 보인다.
• BeWARE의 계산 비용은 단일 ALS-WR 반복과 거의 동일하여 점진적 업데이트를 통해 효율적인 온라인 배포가 가능하다.
• 실험 결과는 불확실성 기반 탐색이 초기 추천 성능을 크게 향상시킨다는 것을 확인하며, 알고리즘이 실세계 쿨스타트 상황에서 효과적임을 입증한다.