[논문 리뷰] Contextual Bandits for adapting to changing User preferences over time

Dattaraj Rao|arXiv (Cornell University)|2020. 09. 21.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 5

한 줄 요약

이 논문은 시간에 따라 변화하는 사용자 선호도를 모델링하기 위해 각 행동(암)마다 하나씩 배치된 확률적 경사 하강법(SGD) 학습기의 배열을 사용하는 새로운 문맥적 밴디트 알고리즘을 제안한다. 온라인 학습과 행동별 모델을 활용함으로써, 이 접근법은 사용자 행동의 변화에 더 잘 적응하는 데 성공하며, 시뮬레이션된 데이터셋과 MovieLens 데이터셋에서 보다 정확한 보상 예측을 통해 정적 모델을 능가한다.

ABSTRACT

Contextual bandits provide an effective way to model the dynamic data problem in ML by leveraging online (incremental) learning to continuously adjust the predictions based on changing environment. We explore details on contextual bandits, an extension to the traditional reinforcement learning (RL) problem and build a novel algorithm to solve this problem using an array of action-based learners. We apply this approach to model an article recommendation system using an array of stochastic gradient descent (SGD) learners to make predictions on rewards based on actions taken. We then extend the approach to a publicly available MovieLens dataset and explore the findings. First, we make available a simplified simulated dataset showing varying user preferences over time and how this can be evaluated with static and dynamic learning algorithms. This dataset made available as part of this research is intentionally simulated with limited number of features and can be used to evaluate different problem-solving strategies. We will build a classifier using static dataset and evaluate its performance on this dataset. We show limitations of static learner due to fixed context at a point of time and how changing that context brings down the accuracy. Next we develop a novel algorithm for solving the contextual bandit problem. Similar to the linear bandits, this algorithm maps the reward as a function of context vector but uses an array of learners to capture variation between actions/arms. We develop a bandit algorithm using an array of stochastic gradient descent (SGD) learners, with separate learner per arm. Finally, we will apply this contextual bandit algorithm to predicting movie ratings over time by different users from the standard Movie Lens dataset and demonstrate the results.

연구 동기 및 목표

• 추천 시스템에서 시간이 지남에 따라 변화하는 사용자 선호도를 모델링하는 데 도전하는 것.
• 실시간 적응을 위한 온라인 및 점진적 학습을 지원하는 문맥적 밴디트 프레임워크를 개발하는 것.
• 사용자 선호도가 변화할 때 정적 학습 모델의 한계를 평가하는 것.
• 보상 예측 정확도 향상을 위해 SGD 학습기를 사용한 확장 가능한 행동 기반 학습 아키텍처를 설계하고 구현하는 것.
• 고유의 시뮬레이션된 데이터셋과 공개된 MovieLens 데이터셋에서 이 접근법을 검증하는 것.

제안 방법

• 이 방법은 각 행동(암)마다 하나의 학습기를 포함하는 확률적 경사 하강법(SGD) 학습기의 배열을 사용하여, 맥락 벡터에 대한 보상을 함수로 모델링한다.
• 각 행동별 학습기는 온라인 학습을 통해 점진적으로 업데이트되어 새로운 데이터와 변화하는 사용자 선호도에 적응한다.
• 알고리즘은 각 행동별 학습기에서 예측한 보상에 기반하여 행동을 선택함으로써 동적 적응을 가능하게 한다.
• 정적 및 동적 학습 접근법을 비교하기 위해 시간에 따라 변화하는 사용자 선호도를 가진 시뮬레이션된 데이터셋을 도입한다.
• 알고리즘은 사용자 평점 예측을 위해 MovieLens 데이터셋에 적용되어 변화하는 사용자 행동에 따른 성능을 평가한다.
• 성능 평가는 정적 모델과 제안된 동적 밴디트 프레임워크 간의 보상 예측 정확도 비교를 통해 수행된다.

실험 결과

연구 질문

• RQ1 사용자 선호도가 시간에 따라 변화할 때 정적 학습 모델은 어떻게 성능을 보이는가?
• RQ2 행동별 학습기의 배열이 문맥적 밴디트에서 변화하는 사용자 선호도에 대한 적응을 향상시킬 수 있는가?
• RQ3 온라인 학습이 동적 환경에서 보상 예측 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 밴디트 알고리즘은 실제 세계 및 시뮬레이션된 데이터셋에서 정적 모델보다 어떻게 비교되는가?
• RQ5 행동별로 특화된 SGD 학습기는 사용자 행동의 시간적 변동을 얼마나 잘 포착할 수 있는가?

주요 결과

• 정적 모델은 훈련 시점의 고정 맥락으로 인해 사용자 선호도가 변화할 경우 정확도가 심각하게 떨어진다.
• 제안된 행동 기반 SGD 학습기 배열은 사용자 선호도의 시간적 변화를 효과적으로 포착하여 보상 예측 정확도를 향상시킨다.
• 동적 학습 접근법은 시뮬레이션된 데이터셋과 MovieLens 데이터셋 양쪽에서 정적 모델을 능가한다.
• 시간에 따라 변화하는 선호도를 가진 시뮬레이션된 데이터셋은 동적 학습 전략의 효과적인 벤치마킹을 가능하게 한다.
• 각 행동별 별도의 학습기를 사용함으로써 공유 모델 대비 행동별 보상 역학을 더 잘 모델링할 수 있다.
• 알고리즘은 온라인 환경에서 뛰어난 성능을 보이며, 새로운 사용자 행동 패tern에 신속하게 적응한다.