[論文レビュー] Adapting multi-armed bandits policies to contextual bandits scenarios

David Cortés‐Polo|arXiv (Cornell University)|Nov 11, 2018

Advanced Bandit Algorithms Research参考文献 30被引用数 25

ひとこと要約

この論文は、ロジスティック回帰をブラックボックスオラクルとして用いることで、マルチアームバンディット（MAB）ポリシー——特にアダプティブ・グリーディ、UCB、トムソンサンプリング——を、バイナリ報酬を伴う文脈的バンディットに適応させる。スケーラブルなブートストラップおよび近似ブートストラップ技術を導入し、複数のデータセットにおいて、最小限のハイパーパrameterチューニングでも、他の手法に比べて累積報酬が優れていることが示された。

ABSTRACT

This work explores adaptations of successful multi-armed bandits policies to the online contextual bandits scenario with binary rewards using binary classification algorithms such as logistic regression as black-box oracles. Some of these adaptations are achieved through bootstrapping or approximate bootstrapping, while others rely on other forms of randomness, resulting in more scalable approaches than previous works, and the ability to work with any type of classification algorithm. In particular, the Adaptive-Greedy algorithm shows a lot of promise, in many cases achieving better performance than upper confidence bound and Thompson sampling strategies, at the expense of more hyperparameters to tune.

研究の動機と目的

• 成功したマルチアームバンディット（MAB）ポリシーとバイナリ報酬を伴う文脈的バンディットの間のギャップを埋めること。
• 従来の文脈的バンディット手法の計算的非実行可能性を回避する、スケーラブルで実用的なMAB戦略の適応を開発すること。
• 教師あり学習アルゴリズムが、文脈的バンディットポリシーの有効なブラックボックスオラクルとして機能できるかどうかを評価すること。
• ハイパーパrameterチューニング、モデルの再適合戦略、および探索手法が、実世界のデータセット環境におけるパフォーマンスに与える影響を評価すること。
• 現実的で大規模なマルチラベルデータセットにおける、適応MABポリシーとベースライン、文脈に依存しない戦略とのパフォーマンスを比較すること。

提案手法

• 文脈からアーム報酬を予測するブラックボックスオラクルとしてロジスティック回帰を用いることで、UCB、トムソンサンプリング、アダプティブ・グリーディなどのMABポリシーを文脈的バンディットに適応する。
• ブートストラップと近似ブートストラップを用いて、UCB風の探索のための不確実性を推定し、完全なモデル再訓練なしでスケーラブルな信頼区間を実現する。
• 確率的リサンプリングを用いて、分類モデルの予測を通じてトムソンサンプリングをシミュレートし、最小限の計算コストでベイジアン風の探索を可能にする。
• MABファースト手法を用いてポリシーを初期化し、固定しきい値またはパーセンタイルベースのルールを用いて、初期ラウンドでの探索と活用のバランスを取る。
• オラクルのためのフルモデル再適合とミニバッチ更新戦略の両方を評価し、予測精度を維持するために50ラウンドごとに再適合を実施する。
• データセットごとに経験的にハイパーパrameterを設定する：例えば、ブートストラップ手法には10回のリサンプリング、UCBには80%信頼区間、ε-グリーディ変種には減衰率を設定する。

実験結果

リサーチクエスチョン

• RQ1 確立されたマルチアームバンディットポリシーは、分類オラクルを用いて、バイナリ報酬を伴う文脈的バンディットに効果的に適応可能か？
• RQ2 ブートストラップと近似ブートストラップ技術は、従来の文脈的バンディットアルゴリズムと比較して、スケーラビリティとパフォーマンスの面でどのように異なるか？
• RQ3 ContextualAdaptiveGreedyポリシーは、多様なマルチラベルデータセットにおいて、累積報酬の観点で標準ベースラインおよび他の適応MAB戦略を上回るか？
• RQ4 ハイパーパrameterチューニングおよびモデル再適合戦略（フル vs. ミニバッチ）のパフォーマンスへの影響は何か？
• RQ5 適応的グリーディポリシーにアクティブラーニングヒューリスティクスを統合することで、パフォーマンスが向上するか？

主な発見

• ContextualAdaptiveGreedyは、評価されたすべてのデータセットで最高の累積報酬を達成し、UCB、トムソンサンプリング、ε-グリーディベースラインを上回った。
• アダプティブ・グリーディポリシーは、UCBやトムソンサンプリングよりも少ないハイパーパrameterで優れたパフォーマンスを示したが、しきい値の設定に注意が必要だった。
• ブートストラップおよび近似ブートストラップ技術により、UCBおよびトムソンサンプリングの適応がスケーラブルに実現され、LinUCBのような手法の計算的非実行可能性を回避した。
• 50ラウンドごとにフルモデル再適合を行う戦略は、ミニバッチ更新戦略を大きく上回り、後者は文脈に依存しない最良のアーム選択のパフォーマンスにすら達しなかった。
• ContextualAdaptiveGreedyにアクティブラーニングの強化を加えても、測定可能なパフォーマンス向上は得られず、固定しきい値が動的パーセンタイルを上回ることが示唆された。
• 固定ハイパーパramータ（例：a=3, b=7, m=2）を用いたMABファースト手法は、パフォーマンスに大きな影響を与えたことから、チューニングが重要であることが示されたが、実験では完全に最適化されていなかった。