[論文レビュー] Clustered Bandits

Loc Bui, Ramesh Johari+1 more|arXiv (Cornell University)|Jun 19, 2012

Advanced Bandit Algorithms Research参考文献 9被引用数 6

ひとこと要約

本稿では、ユーザーが少数の潜在的タイプに属し、それぞれが行動（アーム）に対して異なる反応を示すeコマース応用を想定したクラスタリング付きバンディット枠組みを提案する。探索と活用を組み合わせたユーザーのクラスタリングにより、標準のバンディット手法よりも意思決定の効率性が向上し、ユーザーのタイプが識別可能でかつスパースな場合に、リグレットの顕著な低減が示された。

ABSTRACT

We consider a multi-armed bandit setting that is inspired by real-world applications in e-commerce. In our setting, there are a few types of users, each with a specific response to the different arms. When a user enters the system, his type is unknown to the decision maker. The decision maker can either treat each user separately ignoring the previously observed users, or can attempt to take advantage of knowing that only few types exist and cluster the users according to their response to the arms. We devise algorithms that combine the usual exploration-exploitation tradeoff with clustering of users and demonstrate the value of clustering. In the process of developing algorithms for the clustered setting, we propose and analyze simple algorithms for the setup where a decision maker knows that a user belongs to one of few types, but does not know which one.

研究の動機と目的

• ユーザーのタイプが未知であるが有限個である状況において、eコマースでの意思決定のパーソナライゼーションの課題に対処すること。
• ユーザーのクラスタリングを活用して、標準のバンディット手法よりもリグレット性能を向上させるアルゴリズムを開発すること。
• クラスタリングされた設定において、探索（ユーザーのタイプを学習）と活用（各タイプごとの最適アームの選択）のトレードオフをモデル化すること。
• ユーザーが少数のタイプのいずれかに属することは知っているが、どのタイプかは分からないという部分的なタイプ知識がある状況における、学習効率への影響を分析すること。

提案手法

• ユーザーがアームに対する反応パターンに基づいてクラスタにグループ化される階層的バンディットフレームワークを提案する。
• 観測されたフィードバックを用いて、クラスタ内でのアーム報酬の探索とクラスタ割り当ての改善を交互に実行するアルゴリズムを設計する。
• クラスタ内とクラスタ間の両方での学習をバランスさせる、クラスタに配慮した探索戦略を導入する。
• 混合モデルアプローチを用いてユーザーのタイプ確率を推定し、観測された反応に基づいてユーザーをクラスタに割り当てる。
• クラスタ固有の信頼区間を用いたUCBスタイルのアルゴリズムを採用し、タイプの不確実性がある状況でのリグレット低減を図る。
• 少数のユーザーのタイプを仮定したもとで理論的リグレットバウンドを分析し、標準のバンディット手法よりも収束が速いことを示した。

実験結果

リサーチクエスチョン

• RQ1 未知のユーザーのタイプを伴うマルチアームバンディット問題において、ユーザーのクラスタリングはどのようにリグレット性能を向上させるか？
• RQ2 クラスタリング付きバンディット設定において、新しいアームの探索とクラスタ割り当ての改善の最適なトレードオフは何か？
• RQ3 ユーザーのタイプについての部分的知識（すなわち、ユーザーが少数のタイプのいずれかに属することは知っているが、どのタイプかは分からない）がある場合、学習効率にどのような影響を与えるか？
• RQ4 個々のユーザーを独立して扱うのと比較して、クラスタリングは探索的行動の回数を減らせるか？
• RQ5 有限のユーザーのタイプを持つクラスタリング付きバンディットモデルで達成可能な理論的リグレットバウンドは何か？

主な発見

• ユーザーのタイプがスパースで識別可能である場合、提案されたクラスタリング付きバンディットアルゴリズムは、標準のバンディット手法よりも低いリグレットを達成した。
• 同じタイプのユーザー間で共通する反応パターンを活用することで、クラスタリングにより最適な行動への収束が早まった。
• クラスタレベルの探索とタイプに配慮したアーム選択を組み合わせたアルゴリズムは、部分的なタイプ知識がある状況でも性能が向上した。
• 理論的分析により、リグレットが時間に対して非線形にスケーリングされ、個々のユーザーの数ではなくクラスタ数に依存することが確認された。
• 実験結果により、ユーザーの多様性が高くても本質的に少数のタイプしかない状況では、クラスタリングが非最適行動の回数を削減することが示された。