[論文レビュー] Contextual Bandits for adapting to changing User preferences over time

Dattaraj Rao|arXiv (Cornell University)|Sep 21, 2020

Advanced Bandit Algorithms Research参考文献 9被引用数 5

ひとこと要約

本稿では、時間経過に伴い変化するユーザーの好みをモデル化するために、各行動（アーム）ごとに確率的勾配降下法（SGD）の学習者を配置したアレイを用いた、新しい文脈的バンディットアルゴリズムを提案する。オンライン学習と行動固有のモデルを活用することで、動的変化するユーザー行動への適応性が向上し、シミュレートされたデータおよびMovieLensデータセット上で、報酬予測精度が向上した。

ABSTRACT

Contextual bandits provide an effective way to model the dynamic data problem in ML by leveraging online (incremental) learning to continuously adjust the predictions based on changing environment. We explore details on contextual bandits, an extension to the traditional reinforcement learning (RL) problem and build a novel algorithm to solve this problem using an array of action-based learners. We apply this approach to model an article recommendation system using an array of stochastic gradient descent (SGD) learners to make predictions on rewards based on actions taken. We then extend the approach to a publicly available MovieLens dataset and explore the findings. First, we make available a simplified simulated dataset showing varying user preferences over time and how this can be evaluated with static and dynamic learning algorithms. This dataset made available as part of this research is intentionally simulated with limited number of features and can be used to evaluate different problem-solving strategies. We will build a classifier using static dataset and evaluate its performance on this dataset. We show limitations of static learner due to fixed context at a point of time and how changing that context brings down the accuracy. Next we develop a novel algorithm for solving the contextual bandit problem. Similar to the linear bandits, this algorithm maps the reward as a function of context vector but uses an array of learners to capture variation between actions/arms. We develop a bandit algorithm using an array of stochastic gradient descent (SGD) learners, with separate learner per arm. Finally, we will apply this contextual bandit algorithm to predicting movie ratings over time by different users from the standard Movie Lens dataset and demonstrate the results.

研究の動機と目的

• 推薦システムにおける時間経過に伴い変化するユーザーの好みをモデル化する課題に対処すること。
• リアルタイムでの適応を可能にするオンラインで段階的な学習が可能な文脈的バンディットフレームワークを構築すること。
• ユーザーの好みが変化する状況において、静的学習モデルの限界を評価すること。
• 報酬予測の精度を向上させるために、SGD学習者を用いたスケーラブルで行動ベースの学習アーキテクチャを設計・実装すること。
• 本手法をカスタムで作成したシミュレートされたデータセットおよび公開のMovieLensデータセットで検証すること。

提案手法

• 本手法は、文脈ベクトルを関数として報酬をモデル化するため、行動（アーム）ごとに1つの学習者を備えた確率的勾配降下法（SGD）学習者のアレイを採用する。
• 各行動固有の学習者は、オンライン学習を用いて逐次的に更新され、新しいデータや変化するユーザーの好みに適応する。
• アルゴリズムは、それぞれの行動固有の学習者からの予測報酬に基づいて行動を選択することで、動的適応を実現する。
• 静的および動的学習アプローチのベンチマークを可能にするために、時間的に変化するユーザーの好みを有するシミュレートされたデータセットを導入する。
• 本手法はMovieLensデータセットに適用され、時間経過に伴うユーザーの評価を予測し、変化するユーザー行動における性能を評価する。
• 性能は、静的モデルと提案された動的バンディットフレームワークの間で報酬予測精度を比較することで評価される。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの好みが時間経過で変化する状況において、静的学習モデルはどの程度の性能を示すか？
• RQ2 行動固有の学習者アレイは、文脈的バンディットにおける変化するユーザーの好みへの適応をどのように向上させるか？
• RQ3 オンライン学習は、動的環境における報酬予測精度にどのような影響を与えるか？
• RQ4 提案されたバンディットアルゴリズムは、実世界およびシミュレートされたデータセットにおいて静的モデルと比較してどの程度優れているか？
• RQ5 行動固有のSGD学習者は、ユーザー行動の時間的変動をどの程度正確に捉えることができるか？

主な発見

• ユーザーの好みが変化する状況では、学習時に固定された文脈を持つ静的モデルは著しい精度の低下を示す。
• 提案された行動ベースのSGD学習者アレイは、ユーザー好みの時間的変化を効果的に捉え、報酬予測精度が向上する。
• 動的学習アプローチは、シミュレートされたデータセットおよびMovieLensデータセットの両方で静的モデルを上回る性能を示す。
• 時間的に変化する好みを有するシミュレートされたデータセットは、動的学習戦略の有効なベンチマークを提供する。
• 各行動ごとに別々の学習者を用いることで、共有モデルと比較して行動固有の報酬ダイナミクスをより良い精度でモデル化できる。
• アルゴリズムはオンライン環境でも安定した性能を示し、新しいユーザー行動パターンに素早く適応する。