[論文レビュー] A Contextual Bandit Bake-off

Alberto Bietti, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Bandit Algorithms Research参考文献 35被引用数 53

ひとこと要約

大規模な実証的評価による実用的な文脈バンディットアルゴリズムの比較。教師付きデータセットを用いて、教師付き学習オラクルへのリダクションを比較し、RegCB、Greedy、Coverバリアントが異なる設定で最良の性能を示す。

ABSTRACT

Contextual bandit algorithms are essential for solving many real-world interactive machine learning problems. Despite multiple recent successes on statistically and computationally efficient methods, the practical behavior of these algorithms is still poorly understood. We leverage the availability of large numbers of supervised learning datasets to empirically evaluate contextual bandit algorithms, focusing on practical methods that learn by relying on optimization oracles from supervised learning. We find that a recent method (Foster et al., 2018) using optimism under uncertainty works the best overall. A surprisingly close second is a simple greedy baseline that only explores implicitly through the diversity of contexts, followed by a variant of Online Cover (Agarwal et al., 2014) which tends to be more conservative but robust to problem specification by design. Along the way, we also evaluate various components of contextual bandit algorithm design such as loss estimators. Overall, this is a thorough study and review of contextual bandit methodology.

研究の動機と目的

• 文脈バンディットアルゴリズムの実用的な性能を、教師付き学習からの最適化オラクルに依存させて評価する。
• 現実的で高次元の設定における損失推定量とオフポリシー学習へのリダクションを比較する。
• 実世界の導入に向けて、どの手法が最もロバストで実用的かを特定する。
• アルゴリズム設計の選択と評価方法論について、実務家へのガイダンスを提供する。

提案手法

• 未知のアクションを選択しなかった場合の損失を隠蔽することで、教師付きコストセンシティブおよび多クラスデータセットの大規模コーパス上でコンテキストバンディットをシミュレートする。
• オンラインオラクル（CSCと回帰）を介したオンライン損失推定量（IPS、DR、IWR）と最適化を評価する。
• 複数のアルゴリズムを実装・比較する：RegCB（信頼区間ベース）、Cover-NUとCover、ε-グリーディーのバリアント、Bag/Online BTS、Greedy。
• Vowpal Wabbitを用いて、適応的・正規化・重要度重み付けを考慮した勾配法でオンライン更新を行う。
• 損失エンコディングの選択とオフポリシー学習への代替リダクションを検討する。
• これらの手法が5つ以上のアクションを持つさまざまなデータセットでどのように性能を発揮するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 広範で多様なデータセットコレクション全体で、最も良い総合性能を達成する実用的な文脈バンディットアルゴリズムはどれか。
• RQ2 異なる損失推定量と教師あり学習へのリダクションは、実践における探索と後悔にどのように影響するか。
• RQ3 損失エンコディングとリダクション機構は、文脈バンディットの実証的有効性にどのような役割を果たすか。
• RQ4 問題設定とデータセットの特性に対してロバストな方法はどれで、実務上のトレードオフは何か。

主な発見

• RegCB は多くの実験条件で概ね最良の性能を示す。
• 単純なGreedyのベースラインが、実践的には多くの探索手法に匹敵するか上回ることがある。
• Online Coverのバリアント（Cover-NU）は大半のデータセットで競争力があり、設計上の堅牢性を示す。
• 損失エンコードの選択とリダクション技術（例：重要度加重回帰）は性能と分散に大きく影響する。
• これらの手法を展開する際のログはオフポリシー評価には適さない可能性があり、実務展開の考慮事項を強調する。
• 研究は、貪欲戦略を理解し、探索のために容易なデータセットを活用する理論的な検討を示唆する。