[論文レビュー] Latent Contextual Bandits and their Application to Personalized Recommendations for New Users

Li Zhou, Emma Brunskill|arXiv (Cornell University)|Apr 22, 2016

Advanced Bandit Algorithms Research参考文献 20被引用数 22

ひとこと要約

本稿では、新規ユーザーのためのパーソナライズドレコメンデーションを改善するために、ユーザーを有限の潜在クラスに属させる手法であるLatent Contextual Bandits (LCB) を提案する。過去のユーザーデータから潜在クラスを学習し、初期段階の相互作用をパーソナライズすることで、最先端のベースライン（CLUB や Population LinUCB）と比較して、著しく低いレグレットを達成し、クリックストラックレート（CTR）を最大10%向上させた。実世界の評価において、その有効性が裏付けられた。

ABSTRACT

Personalized recommendations for new users, also known as the cold-start problem, can be formulated as a contextual bandit problem. Existing contextual bandit algorithms generally rely on features alone to capture user variability. Such methods are inefficient in learning new users' interests. In this paper we propose Latent Contextual Bandits. We consider both the benefit of leveraging a set of learned latent user classes for new users, and how we can learn such latent classes from prior users. We show that our approach achieves a better regret bound than existing algorithms. We also demonstrate the benefit of our approach using a large real world dataset and a preliminary user study.

研究の動機と目的

• 新規ユーザーが歴史的相互作用データを欠く場合に発生するコールドスタート問題に対処すること。
• ユーザー特徴に依存するのではなく、有限の潜在クラスによるユーザー行動のモデル化によって、新規ユーザーの学習効率を向上させること。
• 過去のユーザーデータから潜在ユーザークラスを学び、初期相互作用が少ない新規ユーザーに対してもパーソナライズドレコメンデーションを提供する文脈バンディットアルゴリズムの開発。
• 提案手法の理論的レグレットバウンドを提示し、既存の手法よりもタイトであることを示すこと。
• 大規模な実世界データセットおよび予備のユーザースタディを用いた実験的検証。

提案手法

• 各ユーザーがN個の潜在クラスのいずれかに属するものとモデル化し、各クラスには報酬予測に使用される共通の重みベクトルβhが関連付けられる。
• 先行ユーザーのデータから潜在クラス構造を学習するために、Chaganty & Liang (2013) が提唱したテンソル分解技術を用い、ユーザーの多様性を効率的に表現する。
• アルゴリズムは2段階で動作する：段階1では、初期探索のためのユーザー固有パラメータをLinUCBで学習し、段階2では、初期相互作用に基づいて新規ユーザーを最も可能性の高い潜在クラスに割り当てる。
• ユーザー相互作用パターンに基づくクラスタリング手順を用いて潜在クラス所属を推定し、モデルパラメータはオンラインまたはバッチで更新される。
• オンライン学習と潜在変数モデリングを組み合わせることで、探索と活用のバランスを保ちつつ、新規ユーザーへの適応を迅速に行う。
• 2段階の学習プロセスを採用：まず、履歴データから潜在クラスを学び、次に、新規ユーザーを最も類似した潜在クラスに割り当てることで、パーソナライズの加速を図る。

実験結果

リサーチクエスチョン

• RQ1 過去のユーザーデータから潜在クラス構造を学習することで、新規ユーザーに対する文脈バンディットの性能が著しく向上するか？
• RQ2 提案手法であるLatent Contextual Banditsのレグレットは、CLUB や Population LinUCB といった既存手法と比べてどのように異なるか？
• RQ3 パーソナライズと一般化のバランスを最適化するための潜在クラスの最適な数は何か？
• RQ4 二値でノイズの多い報酬という実世界のデータ制約下でも、この手法はどのように性能を発揮するか？
• RQ5 潜在クラスモデルは、逐次的環境において、新規ユーザーの変化に適応できるようにオンラインで効果的に更新可能か？

主な発見

• 実世界のYahoo!データセット（新規ユーザー10,000名）を用いたバッチオフライン評価において、LCBはCLUB や Population LinUCB よりも10%高いCTRを達成した。
• 15または30個の潜在モデルを用いることで、LCBはCLUB や Population LinUCB よりもそれぞれ5%および10%のCTR向上を達成し、潜在構造の利点を示した。
• 逐次的オンライン学習において、LCBは10,000人ごとにCLUB や Population LinUCB よりも5%高いCTRを維持した。これは動的環境下でも安定性を示している。
• ベースライン手法と比較して、レグレットが顕著に低減され、既存のアプローチよりもタイトな理論的レグレットバウンドが得られた。
• 10名の参加者を対象としたパイロットユーザースタディでは、LCBのCTRは0.380 ± 0.076であり、Population LinUCBの0.196 ± 0.096を上回った。
• LCBはユーザー1人あたり20件の相互作用すらも満たさない状況でもCLUBを上回った。これは、低データ環境およびノイズの多い二値報酬に対して耐性があることを示している。